Локация
Гибридный формат работы в офисе
Компания
Yandex развивает Поиск с Алисой, Картинки, Видео и Yandex Search API, используя метрики, языковые модели и экспертные оценки для повышения качества поиска.
Что делать
•Разрабатывать метрики качества Агентского Поиска, проверять их на экспертных бенчмарках и организовывать регулярную оценку в продакшене.
•Анализировать сложные запросы и цепочки действий AI-агента, выявлять причины потери информации и предлагать эксперименты.
•Исследовать методы отбора документов и ранжирования для AI-агентов, создавать прототипы и доводить решения до релиза.
•Оценивать баланс контекста для языковых моделей: сохранять важные факты, сокращать объём текста и предотвращать искажение смысла.
•Сравнивать Yandex Search API с другими поисковыми API на открытых бенчмарках и сценариях команды.
•Совместно с ML-инженерами и разработчиками определять приоритеты и внедрять подтверждённые улучшения в продукт.
Требования
•Опыт самостоятельной оценки качества ML-системы или продукта от 3 лет.
•Уверенное владение Python для проведения экспериментов, обработки результатов и воспроизводимых расчётов.
•Знание SQL, теории вероятностей и математической статистики.
•Умение планировать эксперименты, оценивать неопределённость и интерпретировать результаты A/B-тестов.
•Понимание оценки ML-моделей, разделения данных, утечек и различий между тестовыми и продуктовыми результатами.
•Способность самостоятельно формулировать проблемы и проверяемые гипотезы, выбирать метрики и объяснять выводы команде.
Хорошо, если есть
•Опыт работы с информационным поиском, ранжированием, семантическим поиском или RAG-системами.
•Опыт создания бенчмарков и разметки, анализа действий AI-агентов или оценки качества языковых моделей по человеческим оценкам.
•Опыт работы с большими данными и превращения исследовательских прототипов в командные инструменты.
•Знакомство с агентными бенчмарками BrowseComp или NEEDLE, а также с оценкой полноты и достоверности контекста.
Культура и преимущества
•Работа в небольшой команде аналитиков-разработчиков.
•Сотрудничество с ML-командами и разработчиками над улучшениями Поиска и внешних AI-продуктов.
•Задачи на стыке анализа данных, поисковых технологий и языковых моделей.
