О команде
Alice AI — один из самых популярных ассистентов в России, которым ежедневно пользуются миллионы людей. Команда развивает качество ключевой LLM-технологии компании: измеряет, как модели отвечают на реальные пользовательские запросы, и на основании этих замеров принимает решение о релизе.
Приёмка — момент, когда решается судьба выкатки. Перед каждым релизом нужно понять, как изменилось качество модели: на каких сценариях она выросла, где просела и достаточно ли этого качества для пользователей. Модель измеряется по нескольким независимым аспектам силами профессиональных разметчиков, доменных экспертов и автоматических оценщиков, а затем из этих сигналов собирается одно заключение. Заключение приёмки — основание, по которому модель уезжает в прод или не уезжает; решение принимается вместе с ML-разработчиками и продуктовой командой.
Команда расширяется. Ищут аналитика, который возьмёт на себя контур замеров: запуск приёмок, контроль прохождения разметки и анализ результатов.
Вы увидите изнутри всю кухню оценки качества LLM — от состава оценочных наборов до критериев, по которым релиз останавливают. Процесс активно автоматизируется: рутина будет уходить, а роль — расти в сторону анализа и методологии. Работа идёт бок о бок с ML-инженерами качества, доменными экспертами и командой краудсорса.
Обязанности
Организация приёмок новых версий моделей
Подготовка оценочных наборов, постановка задач по всем аспектам качества, настройка и запуск пайплайнов оценки.
Приёмки проходят несколько раз в неделю, они идут параллельно и зависят от дат релизов, поэтому очень важно их все контролировать.
Контроль разметки
Замер действует неделю и проходит через несколько команд и пулов. Нужно следить за его статусом, выявлять и устранять сбои, а также отслеживать недоставленные или потерянные данные. Разбираться в причинах и доводить модель до работающего результата вместе с командой краудсорса и соседними командами. Это та часть работы, где аккуратность и въедливость дают больше всего.
Сбор и анализ результатов
Сведение результатов всех аспектов в одну картину: подсчёт значимости, отличие настоящего изменения от шума, объяснение расхождений между аспектами и между людьми и автоматическими оценщиками.
По каждому релизу должно быть заключение с разбором сценариев и конкретными примерами; раз в неделю — сводка по всем замерам для ML-команд и продукта.
Развитие процесса
Параллельно приёмка автоматизируется, под неё строятся инструменты. Аналитик будет главным заказчиком и первым пользователем этой автоматизации: приносить требования, обкатывать новое и забирать себе те задачи, которые она освобождает.
Больше об аналитике в Яндексе — в канале Yandex for Analytics.
Требования
•Уверенно работаете с Python и SQL
•Знаете математическую статистику и теорию вероятностей
•Доводите до конца многошаговые процессы с внешними зависимостями: чужие пайплайны, пулы разметки, сроки соседних команд
•Умеете формулировать обоснованное заключение по данным и защищать его перед заказчиками
•Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
•Интересуетесь развитием LLM и хотите глубоко погрузиться в тему
Будет плюсом
•Проводили оценку качества LLM с использованием голден-сетов, LLM-as-a-Judge и контроля разметки
•Работали на стыке офлайн-оценки и онлайн-экспериментов
•Занимались оценкой агентских сценариев и мультимодальных моделей
•Применяли NLP, краудсорсинговые разметки и ML
