# Senior Data Scientist (ML Evaluation & Metrics)
Uzum — это новая уникальная компания в Узбекистане, которая развивает экосистему цифровых сервисов для бизнеса, онлайн-шопинга, удобных платежей и других решений для жизни.
Uzum Avto - cервис для покупки и продажи автомобилей и онлайн одобрением кредита. Более 300 дилеров-партнеров по Узбекистану.
Чем предстоит заниматься:
•Проектировать методологии оценки качества ML-моделей и рекомендательных механик: офлайн- и онлайн-метрики, их связь с бизнес-метриками
•Переводить потребности бизнеса в DS-постановки, формулировать гипотезы, целевые и guardrail-метрики, ограничения, критерии успеха
•Разрабатывать методологию разметки: ТЗ и инструкции для разметчиков, правила для пограничных случаев, golden sets, контроль согласованности, аудит качества разметки
•Готовить ТЗ на сбор и упаковку наборов данных
•Разрабатывать дизайны и анализировать результаты тестов ML решений в продукте
•Формулировать и имплементировать методологии оценки качества данных
•Вести исследовательскую аналитику, находить инсайты в данных и в поведении ML систем
•Отвечать за отчётность и логирование ML-метрик. Определяя формат релизных отчётов, обязательный набор метрик, сравнение с baseline
•Определять дизайн оценки качества. Формировать драфт задач для ML инженеров, описывать, что и как должно быть реализовано, чтобы качество можно было корректно измерить
Для нас важно:
•От 3 лет коммерческого опыта в Data Science или ML-аналитике, включая реальный опыт оценки моделей, работающих в проде
•Глубокое понимание метрик ML (классификация, детекция, сегментация, ранжирование)
•Уверенные теорвер и матстат: проверка гипотез, доверительные интервалы, бутстрап, мощность теста, методы снижения дисперсии
•Классический ML на табличных данных (бустинги, линейные модели): умение анализировать поведение модели, её ошибки, калибровку, важность признаков
•Python (pandas, numpy, scipy, sklearn, Jupyter)
•Умение писать: компактные и внятные отчёты с выводами, ТЗ, инструкции, которые понимают с первого раза
•Умение задавать правильные вопросы и докапываться до сути постановки
•Крайне желательно - опыт оценки рекомендательных систем
•Высшее техническое или математическое образование
Будет плюсом:
•Опыт в модерации контента, антифроде или trust & safety
•Опыт организации разметки (Toloka, Label Studio, in-house асессоры), active learning, human-in-the-loop
•Causal inference и квазиэксперименты
•LLM-as-a-judge и использование LLM в разметке
•Опыт с experiment tracking (MLflow, ClearML)
