Локация
Москва; доступны удалённый и гибридный форматы работы.
Компания
Яндекс Образование создаёт образовательные продукты и ИИ-инструменты для школьников, родителей, учителей и образовательного сообщества.
Что делать
•Разрабатывать систему оценки качества моделей для разных классов задач.
•Адаптировать открытые бенчмарки, создавать собственные методики и организовывать разметку данных внешними исполнителями.
•Проектировать и внедрять метрики для анализа собственных моделей и решений конкурентов в реальных сценариях.
•Строить процессы сбора данных для fine-tuning и RL совместно с экспертами-разметчиками.
•Отслеживать исследования, новые бенчмарки и датасеты, выбирая перспективные подходы для внедрения.
Требования
•От 5 лет опыта.
•Уверенное владение Python и SQL, знание основных аналитических библиотек.
•Понимание основ статистики и умение применять их на практике.
•Опыт проектирования процессов разметки для удалённых исполнителей.
•Понимание методов оценки сложных агентных ML-пайплайнов.
•Самостоятельность, внимательность к деталям и ориентация на результат.
Хорошо, если есть
•Опыт работы с Толокой или другими краудсорсинговыми платформами.
•Опыт организации разметки данных с привлечением внешних исполнителей.
•Опыт управления командой ML-аналитиков.
