Локация
Москва, Россия, м. Кутузовская; гибридный формат работы.
Компания
Сбер развивает веб-поиск, RAG и агентов, способных решать сложные многошаговые задачи уровня BrowseComp.
Что делать
•Разрабатывать и проверять метрики качества поиска и ответов, включая nDCG, Recall@k и faithfulness.
•Оценивать статистическую значимость улучшений с помощью бутстрэпа по вопросам, анализа мощности и дисперсии между прогонами агентов.
•Калибровать LLM-судей на человеческой разметке, анализировать precision, recall и смещения по позиции, длине и self-preference.
•Создавать golden-сеты для многохоповых вопросов, обеспечивать однозначность ответов, цепочки доказательств и защиту от переобучения на бенчмарк.
•Разрабатывать метрики для отдельных шагов агентов, выявлять зацикливание и преждевременную остановку, строить кривую зависимости точности от бюджета.
•Разбирать потери по слоям: retrieval, извлечение фактов, рассуждение и формирование ответа; руководить небольшой сильной командой.
Требования
•Математическое, физическое или инженерное образование.
•6+ лет опыта в аналитике или Data Science, включая 3+ года в оценке поиска, RAG или LLM.
•Опыт калибровки LLM-судьи.
•Уверенное владение статистикой, Python и SQL.
Хорошо, если есть
•Опыт работы с агентными бенчмарками BrowseComp, MuSiQue или GAIA.
•Собственный датасет или публикация по IR/NLP.
Культура и преимущества
•Задачи, для которых в индустрии пока нет устоявшихся решений.
•GPU и бюджет на ручную разметку.
•Возможность руководить небольшой сильной командой.
