Локация
Москва, офис
Компания
Yandex развивает Alice AI и ключевую LLM-технологию компании, которой ежедневно пользуются миллионы людей.
Что делать
•Организовывать приёмки новых версий LLM: готовить оценочные наборы, ставить задачи по аспектам качества и запускать пайплайны оценки.
•Контролировать прохождение разметки через несколько команд и пулов, выявлять сбои и устранять проблемы с недоставленными или потерянными данными.
•Собирать и анализировать результаты оценки, считать значимость, отделять реальные изменения от шума и объяснять расхождения между аспектами, людьми и автоматическими оценщиками.
•Готовить заключения по релизам с разбором сценариев и примерами, а также еженедельные сводки для ML-команд и продукта.
•Развивать автоматизацию приёмки: формулировать требования, тестировать инструменты и передавать автоматизированные задачи в процесс.
•Взаимодействовать с ML-инженерами качества, доменными экспертами, командой краудсорса и соседними командами.
Требования
•От 3 лет опыта.
•Уверенная работа с Python и SQL.
•Знание математической статистики и теории вероятностей.
•Умение доводить до конца многошаговые процессы с внешними зависимостями: пайплайны, пулы разметки и сроки соседних команд.
•Умение формулировать обоснованные выводы по данным и защищать их перед заказчиками.
•Интерес к развитию LLM и готовность глубоко погружаться в тему.
Хорошо, если есть
•Опыт оценки качества LLM с использованием голден-сетов, LLM-as-a-Judge и контроля разметки.
•Опыт работы на стыке офлайн-оценки и онлайн-экспериментов.
•Опыт оценки агентских сценариев и мультимодальных моделей.
•Практика применения NLP, краудсорсинговой разметки и ML.
Культура и преимущества
•Работа в офисе в Москве.
•Приёмки моделей проходят несколько раз в неделю и связаны с регулярными релизами.
•Роль сочетает аналитику, методологию и развитие инструментов автоматизации.
