О роли
Alice AI — большая языковая модель, которая помогает миллионам людей решать повседневные задачи. Чтобы взаимодействие с ней было по-настоящему полезным, ответы должны быть не только релевантными, но и достоверными, доброжелательными и безопасными.
Мы формируем команду, которая отвечает за безопасность и ответственное поведение LLM в рамках общего трека развития моделей Alice AI. Команда участвует в подготовке данных и обучении моделей, разрабатывает автоматизированные системы оценки, исследует потенциальные риски и проводит финальную приёмку релиз-кандидатов.
Роль остаётся прежде всего аналитической: непосредственным обучением моделей занимается отдельная ML-команда, а мы исследуем их поведение, готовим данные, создаём системы оценки и отвечаем за качество релизных решений.
Анализ данных и поиск проблемных сценариев
В логах Alice AI представлены самые разные сценарии: голосовые и текстовые запросы, генерация изображений, взаимодействие с несколькими моделями — от команды «включи будильник» до продолжительных ролевых диалогов.
Вам предстоит исследовать большие объёмы данных, выделять сложные срезы и находить потенциально проблемные паттерны. Мы анализируем реальные пользовательские взаимодействия, формулируем гипотезы о новых классах рисков и проектируем сценарии для red teaming.
Разработка LLM-джаджей и агентских пайплайнов
Чтобы научить модель корректно отвечать на сложные запросы, необходимо уметь измерять качество её поведения. Мы создаём автоматизированные системы оценки на основе подхода LLM-as-a-Judge, промптинга и агентских пайплайнов.
Вам предстоит разрабатывать критерии и рубрики оценки, собирать evaluation-пайплайны, валидировать автоматические оценки на человеческой разметке и исследовать качество джаджей: их устойчивость, согласованность, смещения, precision и recall.
Участие в обучении LLM Яндекса
Мы собираем и валидируем обучающие выборки для этапов SFT и RL, анализируем ошибки модели и определяем направления для её дальнейшего улучшения.
Задача команды — встроить требования к ответственному поведению в общий цикл разработки LLM и обеспечить измеримый рост качества на целевых категориях запросов.
Финальная приёмка моделей
Перед запуском новой версии необходимо убедиться, что она улучшает целевые метрики и не создаёт неприемлемых рисков.
Мы разрабатываем наборы тестов и офлайн-метрики, сравниваем релиз-кандидаты с текущей моделью, анализируем регрессии и статистическую значимость изменений. По результатам оценки команда принимает решение о готовности модели к запуску.
Больше об аналитике в Яндексе — в канале Yandex for Analytics
Требования
•Уверенно владеете Python и SQL
•Самостоятельно работаете с данными: исследуете логи, формулируете гипотезы
•Знаете математическую статистику и теорию вероятностей, умеете корректно строить эксперименты и интерпретировать результаты
•Умеете ясно излагать мысли, обсуждать решения и аргументированно отстаивать свою позицию
•Работали с ML-моделями и понимаете основные этапы их обучения и оценки
•Создавали LLM-джаджей, автоматизированные evaluation-пайплайны или проводили red teaming
•Знакомы с SFT, RLHF/RLAIF и современными подходами к LLM evaluation
•Понимаете типовые сценарии использования и уязвимости генеративных моделей
