Описание
Команда развивает систему оценки Alice AI LLM — технологии, лежащей в основе Алисы и других продуктов Яндекса. Она создаёт LLM-судей, воспроизводящих человеческие критерии качества, и развивает систему их разработки и поддержки.
Задачи
•Проектировать схемы LLM-судей, экспериментировать с моделями и архитектурами, сравнивать подходы и проверять, насколько хорошо они воспроизводят человеческие критерии оценки
•Регулярно измерять качество новых моделей и типов запросов, находить слабые места и систематические смещения, разбирать регрессии и проверять качество новых версий
•Добавлять новые аспекты и возможности оценки, превращать экспериментальные решения в воспроизводимые вычислительные графы для других команд
•Следить за свежими исследованиями, разбираться в новых подходах к оценке LLM и проверять их пользу на реальных задачах
Требования
•Уверенное владение Python и SQL
•Умение анализировать данные и строить воспроизводимые процессы их обработки
•Знание теории вероятностей и математической статистики
•Умение проектировать метрики и интерпретировать результаты экспериментов
•Понимание устройства современных LLM и опыт экспериментов с ними
•Готовность разбираться в задачах без готового решения
•Самостоятельность и аккуратность в выводах
Будет плюсом
•Разработка LLM-судей или других систем автоматической оценки моделей
•Опыт работы с метриками в NLP
•Проектирование многошаговых LLM-пайплайнов
•Опыт работы с агентными или мультимодальными системами
•Свободное чтение технических статей на английском
Условия
•Компенсация от 100М токенов для экспериментов и оптимизации рутины
•Доступ к передовым моделям для ежедневной работы
•Расширенная медицинская страховка с первого месяца работы
•Плановая и неотложная медицинская помощь за рубежом, страхование от несчастных случаев и лечение критических заболеваний
•Консультации врачей в клиниках по ДМС, онлайн-консультации с психологами и психотерапия в офисах с кабинетом психотерапевта
•Ежегодные чекапы и вакцинация
•30 дней больничного в году оплачиваются полностью
•Стоматологическая помощь, коррекция зрения и хирургическое лечение косоглазия после года работы
•Ведение беременности и роды оплачиваются сотрудницам и жёнам сотрудников со стажем более двух лет
•Страховка для детей и супругов по системе 80/20: работодатель оплачивает 80% стоимости ДМС
