Описание
Привет, я Даниил Смирнов. Моя команда разрабатывает ИИ-функции в сервисах Яндекс 360. Для улучшения качества Алисы AI для бизнеса и многих других ИИ-функций нам нужны опытные разработчики и аналитики. Мы ищем ML-аналитика, который возьмёт на себя оценку качества продуктовых ИИ-функций и агентов.
Задачи
•Разработать и внедрить LLM-as-a-judge для автоматической оценки ответов моделей, а также построить eval-систему для оценки качества агентов. С её помощью команда будет проверять, насколько хорошо агенты решают пользовательские задачи и работают с тулами на каждом шаге.
•Работать с текстовыми и мультимодальными данными, создавая надёжные и эффективные пайплайны для сбора данных обучения и оценки.
•Автоматизировать процессы, чтобы данные были всегда актуальными и качественными.
•Разработать систему офлайн-метрик для агентов Яндекс 360: определить критерии качества, построить пайплайны и подобрать данные для оценки.
•Интегрировать разработанные решения в продовые процессы команды ML-разработчиков и аналитиков.
Требования
•Уверенно работаете с Python и SQL, анализируете данные с помощью pandas или похожих инструментов
•Пишете поддерживаемый аналитический код и умеете доводить пайплайны до регулярной работы
•Хорошо знаете теорию вероятностей и математическую статистику
•Понимаете, как работают ML-модели и как оценивать их качество
•Умеете ставить эксперименты, собирать репрезентативные выборки и находить смещения в данных
•Можете связать качество модели с продуктовым сценарием и поведением пользователей
•Самостоятельно разбираетесь в новой области и умеете договориться с разработчиками и продуктовыми командами о критериях качества
Будет плюсом
•Оценивали LLM, RAG-системы или агентов, которые работают с инструментами
•Работали с экспертной или краудсорсинговой разметкой
•Проводили онлайн-эксперименты и анализ продуктовых метрик
•Знакомы с NLP или мультимодальными моделями
•Запускали новую аналитическую или ML-практику
Условия
Условий в вакансии нет
