Локация
Гибридный формат работы
Компания
Яндекс развивает Алису — AI‑ассистента, ответы которого включают текстовые и мультимодальные обогащения: изображения, видео, карточки товаров и геообъектов, внешние ссылки и рекламу.
Что делать
•Руководить проектом оценки качества обогащений в ответах Alice AI.
•Придумывать и запускать новые фичи совместно с продуктовой и ML‑командами.
•Ставить задачи AI‑тренерам и автоматическим оценщикам, разрабатывать инструкции и собирать голден‑сеты.
•Определять метрики качества и критерии успеха, анализировать эксперименты и качество ответов моделей.
•Создавать LLM‑as‑a‑Judge агентов для обучения моделей и оценки экспериментов.
•Управлять пайплайнами разметки и подготовки данных, контролировать скорость, стоимость, качество и производительность оценки.
Требования
•Опыт управления командой аналитиков не менее 2 лет.
•От 3 лет опыта работы.
•Умение работать с данными и извлекать из них практические выводы.
•Знание математической статистики и теории вероятностей.
•Надёжное программирование на Python и знание алгоритмов.
•Интерес к развитию LLM и готовность глубоко погружаться в тему.
Культура и преимущества
•Гибридный формат работы.
•Работа над качеством ответов одного из самых популярных AI‑ассистентов в России.
•Возможность влиять на развитие моделей Alice AI через метрики и инструменты оценки.
