Описание
Алиса — популярный ассистент, которым ежедневно пользуются миллионы людей. Команда развивает качество ключевой LLM-технологии Яндекса, оценивая ответы моделей на реальные запросы и используя результаты для принятия решений о релизах.
Задачи
•Организовывать приёмки новых версий моделей: готовить оценочные наборы, ставить задачи по аспектам качества, настраивать и запускать пайплайны оценки
•Контролировать параллельные приёмки с учётом сроков релизов
•Следить за статусом разметки, выявлять и устранять сбои, отслеживать недоставленные или потерянные данные
•Разбираться в причинах сбоев и доводить модель до работающего результата вместе с командами краудсорса и смежными командами
•Сводить результаты разных аспектов оценки, считать значимость, отличать реальные изменения от шума и объяснять расхождения между оценками людей и автоматических оценщиков
•Готовить заключения по релизам с разбором сценариев и примерами, а также еженедельные сводки для ML-команд и продукта
•Формулировать требования к автоматизации приёмки, тестировать новые инструменты и брать на себя задачи, которые высвобождает автоматизация
Требования
•Уверенно работать с Python и SQL
•Знать математическую статистику и теорию вероятностей
•Доводить до конца многошаговые процессы с внешними зависимостями, чужими пайплайнами, пулами разметки и сроками смежных команд
•Формулировать обоснованные выводы по данным и защищать их перед заказчиками
•Быть самостоятельным и готовым браться за новые задачи без готового решения
•Интересоваться развитием LLM и быть готовым глубоко погрузиться в тему
Будет плюсом:
•Проводить оценку качества LLM с использованием голден-сетов, LLM-as-a-Judge и контроля разметки
•Работать на стыке офлайн-оценки и онлайн-экспериментов
•Оценивать агентские сценарии и мультимодальные модели
•Применять NLP, краудсорсинговую разметку и ML
Условия
•Расширенная медицинская страховка с первого месяца работы, включая плановую и неотложную помощь за рубежом, страхование от несчастных случаев, лечение критических заболеваний, стоматологию и ежегодные чекапы
•Онлайн-консультации с психологами и психотерапия в офисах с соответствующим кабинетом
•30 дней оплачиваемого больничного в году с сохранением полной зарплаты
•После года работы страховка покрывает коррекцию зрения и хирургическое лечение косоглазия
•Для сотрудниц и жён сотрудников, работающих в компании более двух лет, оплачиваются ведение беременности и роды
•Страховка для детей и супругов по системе 80/20: компания оплачивает 80% стоимости, сотрудник — 20%
•Компенсация от 100М токенов для экспериментов и оптимизации рутины, доступ к передовым моделям
