Описание
Описания нет
Задачи
•Проектировать методологии оценки качества ML-моделей и рекомендательных механик: офлайн- и онлайн-метрики, их связь с бизнес-метриками
•Переводить потребности бизнеса в DS-постановки, формулировать гипотезы, целевые и guardrail-метрики, ограничения, критерии успеха
•Разрабатывать методологию разметки: ТЗ и инструкции для разметчиков, правила для пограничных случаев, golden sets, контроль согласованности, аудит качества разметки
•Готовить ТЗ на сбор и упаковку наборов данных
•Разрабатывать дизайны и анализировать результаты тестов ML решений в продукте
•Формулировать и имплементировать методологии оценки качества данных
•Вести исследовательскую аналитику, находить инсайты в данных и в поведении ML систем
•Отвечать за отчётность и логирование ML-метрик, определяя формат релизных отчётов, обязательный набор метрик, сравнение с baseline
•Определять дизайн оценки качества, формировать драфт задач для ML инженеров, описывать, что и как должно быть реализовано, чтобы качество можно было корректно измерить
Требования
•От 3 лет коммерческого опыта в Data Science или ML-аналитике, включая реальный опыт оценки моделей, работающих в проде
•Глубокое понимание метрик ML (классификация, детекция, сегментация, ранжирование)
•Уверенные теорвер и матстат: проверка гипотез, доверительные интервалы, бутстрап, мощность теста, методы снижения дисперсии
•Классический ML на табличных данных (бустинги, линейные модели): умение анализировать поведение модели, её ошибки, калибровку, важность признаков
•Python (pandas, numpy, scipy, sklearn, Jupyter)
•Умение писать компактные и внятные отчёты с выводами, ТЗ, инструкции, которые понимают с первого раза
•Умение задавать правильные вопросы и докапываться до сути постановки
•Крайне желательно — опыт оценки рекомендательных систем
•Высшее техническое или математическое образование
Будет плюсом
•Опыт в модерации контента, антифроде или trust & safety
•Опыт организации разметки (Toloka, Label Studio, in-house асессоры), active learning, human-in-the-loop
•Causal inference и квазиэксперименты
•LLM-as-a-judge и использование LLM в разметке
•Опыт с experiment tracking (MLflow, ClearML)
Условия
Условий в вакансии нет
