Локация
Москва, офисный или гибридный формат
Компания
Yandex развивает Alice AI — большую языковую модель для решения повседневных задач и повышения качества, достоверности и безопасности ответов.
Что делать
•Исследовать большие объёмы логов Alice AI, находить сложные и потенциально проблемные сценарии.
•Формулировать гипотезы о новых классах рисков и проектировать сценарии для red teaming.
•Разрабатывать критерии, рубрики и автоматизированные evaluation-пайплайны на основе LLM-as-a-Judge, промптинга и агентских подходов.
•Валидировать автоматические оценки на человеческой разметке и исследовать устойчивость, согласованность, смещения, precision и recall джаджей.
•Собирать и проверять обучающие выборки для SFT и RL, анализировать ошибки моделей.
•Проводить финальную оценку релиз-кандидатов, анализировать регрессии и статистическую значимость изменений.
Требования
•От 3 лет опыта.
•Уверенное владение Python и SQL.
•Самостоятельная работа с данными, исследование логов и формулирование гипотез.
•Знание математической статистики и теории вероятностей, умение корректно проводить эксперименты и интерпретировать результаты.
•Умение ясно излагать мысли, обсуждать решения и аргументированно отстаивать позицию.
Хорошо, если есть
•Опыт работы с ML-моделями и понимание этапов их обучения и оценки.
•Опыт создания LLM-джаджей, автоматизированных evaluation-пайплайнов или проведения red teaming.
•Знание SFT, RLHF/RLAIF и современных подходов к LLM evaluation.
•Понимание типовых сценариев использования и уязвимостей генеративных моделей.
Культура и преимущества
•Работа в команде, отвечающей за безопасность и ответственное поведение LLM.
•Участие в общем цикле развития моделей Alice AI — от подготовки данных до финальной приёмки релизов.
•Сотрудничество с отдельной ML-командой, которая непосредственно обучает модели.
