Описание
Команда строит платформу данных для ML-специалистов и продуктовых аналитиков отдела рекомендательных систем, охватывая полный цикл — от сбора данных до развития хранилищ.
Задачи
•Помогать проектировать и строить хранилища данных на Iceberg, включая озёрное хранилище для сотен ТБ данных с использованием Spark и Trino
•Настраивать процессы обеспечения качества данных: валидацию, мониторинг и метрики качества
•Внедрять автоматическую генерацию и сопровождение метаданных и описаний данных, каталогизацию и профилирование
•Проектировать и разворачивать feature store для подготовки и управления признаками на платформе
•Участвовать в создании семантического слоя для унификации бизнес-логики и метрик
•Пробовать инструменты с открытым исходным кодом, если они полезны команде или потребителям
Требования
•Уверенно владеть Python в контексте инженерии данных не менее 2 лет
•Глубоко знать SQL, включая оконные функции, оптимизацию запросов и планы выполнения
•Иметь опыт работы с оркестраторами данных, в том числе Airflow
•Иметь опыт работы с Hadoop, Spark, YARN и HDFS
•Иметь опыт работы с MPP-системами, такими как Greenplum, ClickHouse, Redshift или аналогами
•Иметь опыт взаимодействия с Trino/Presto, DBT, Feature Store и DQ-фреймворками, например Great Expectations, Soda или собственными решениями
Условия
•Корпоративный пакет ДМС со стоматологией
•Корпоративный спорт и консультации психолога
•Обучение и развитие: языковые клубы, корпоративный университет и программы развития управленческих навыков
•Сообщества по интересам: выступления, футбол, йога, шахматы
•Гибкий подход к сочетанию карьеры и заботы о близких, проекты для детей сотрудников
•Скидки на обучение, страхование и покупки, партнёрские программы
•Бесплатное питание в офисе, корпоративная техника
