Локация
Гибридный формат работы.
Компания
Разработка ИИ-функций для сервисов Яндекс 360, включая Почту, Диск, Документы, Таблицы, Календарь и Телемост.
Что делать
•Разрабатывать и внедрять LLM-as-a-judge для автоматической оценки ответов моделей.
•Строить eval-систему для оценки качества ИИ-агентов и их работы с инструментами.
•Создавать надёжные пайплайны для сбора и обработки текстовых и мультимодальных данных обучения и оценки.
•Разрабатывать офлайн-метрики и критерии качества для агентов Яндекс 360.
•Интегрировать созданные инструменты и метрики в продакшн-процессы ML-разработчиков и аналитиков.
Требования
•От 5 лет опыта.
•Уверенная работа с Python и SQL, анализ данных с помощью pandas или аналогичных инструментов.
•Опыт написания поддерживаемого аналитического кода и доведения пайплайнов до регулярной эксплуатации.
•Знание теории вероятностей, математической статистики и принципов работы ML-моделей.
•Навыки постановки экспериментов, формирования репрезентативных выборок и поиска смещений в данных.
•Умение связывать качество моделей с продуктовыми сценариями и поведением пользователей, а также согласовывать критерии качества с разработчиками и продуктовыми командами.
Хорошо, если есть
•Опыт оценки LLM, RAG-систем или агентов, работающих с инструментами.
•Опыт экспертной или краудсорсинговой разметки.
•Опыт онлайн-экспериментов и анализа продуктовых метрик.
•Знание NLP или мультимодальных моделей.
•Опыт запуска новых аналитических или ML-практик.
