О компании
Centicore занимается продуктовой разработкой проектов заказчиков под ключ. Команда ищет ML Engineer / Data Scientist для работы над контролем качества данных.
Обязанности
•Исследовать и прототипировать новые методы контроля качества данных на наших данных
•Проектировать ML- и статистические контроли для выявления аномалий, дрейфа распределений, деградации свежести данных, нарушений сезонных паттернов и нетипичных комбинаций метрик
•Строить базовые ожидания по DQ-метрикам: row_count, null_rate, unique_count, свежесть данных, доли категорий
•Подбирать подходящие методы под конкретную задачу: от простых правил и статистических проверок до ML-моделей
•Валидировать контроли без готовой разметки: проверять их на исторических данных, использовать синтетические аномалии, shadow mode и анализ ложных срабатываний
•Интегрировать решения в production-пайплайны: Airflow, PySpark, Hive/Hadoop
•Настраивать алертинг для операционных команд и сопровождать решения в production
Требования
•Опыт в ML / Data Science от 3 лет
•Уверенное владение Python (pandas, numpy, scikit-learn) и SQL
•Ключевой стек: Python, SQL, Airflow, PySpark, Hadoop/Hive, MLflow
•Сильная база по математической статистике и классическому машинному обучению: линейные модели, деревья, бустинги
•Опыт с методами выявления аномалий и/или обнаружения дрейфа данных
•Опыт работы с временными рядами
•Опыт вывода моделей в production, их мониторинга и версионирования
•Понимание, где действительно нужен ML, а где достаточно правила, SQL-проверки или статистического базового контроля
•Критично: знание ML + Airflow
Дополнительная информация
Вилка: 380 000–400 000 ₽ на руки. Формат работы: Москва, гибрид 1 раз в неделю офис.
Стек технологий
Python, pandas, numpy, scikit-learn, SQL, Airflow, PySpark, Hadoop, Hive, MLflow
