Локация: Москва, офис
Компания
Yandex развивает Алису и ключевую LLM-технологию, оценивая качество моделей на реальных пользовательских запросах перед релизами.
Что делать
•Организовывать приёмки новых версий моделей: готовить оценочные наборы, ставить задачи по аспектам качества и запускать пайплайны оценки.
•Контролировать прохождение разметки через несколько команд и пулов, выявлять сбои и восстанавливать недоставленные или потерянные данные.
•Собирать результаты различных аспектов оценки в единое заключение по каждому релизу.
•Анализировать статистическую значимость, отличать реальные изменения качества от шума и объяснять расхождения между людьми и автоматическими оценщиками.
•Готовить разборы сценариев и еженедельные сводки для ML-команд и продукта.
•Развивать автоматизацию процесса приёмки: формулировать требования, тестировать инструменты и использовать высвободившееся время для аналитики и методологии.
Требования
•Уверенная работа с Python и SQL.
•Знание математической статистики и теории вероятностей.
•Умение доводить до конца многошаговые процессы с внешними зависимостями, пайплайнами и командами разметки.
•Способность формулировать обоснованные выводы по данным и защищать их перед заказчиками.
•Самостоятельность и готовность решать задачи без готового решения.
•Интерес к развитию LLM и глубокое погружение в эту область.
Хорошо, если есть
•Опыт оценки качества LLM с использованием голден-сетов, LLM-as-a-Judge и контроля разметки.
•Опыт работы на стыке офлайн-оценки и онлайн-экспериментов.
•Опыт оценки агентских сценариев и мультимодальных моделей.
•Практика применения NLP, краудсорсинговой разметки и ML.
Культура и преимущества
•Работа бок о бок с ML-инженерами качества, доменными экспертами и командой краудсорса.
•Приёмки проходят несколько раз в неделю и связаны с регулярными релизами моделей.
•Процесс активно автоматизируется, а роль развивается в сторону аналитики и методологии.
