Описание
Мы строим корпоративную дата-платформу нового поколения — единый self-service путь от источника до витрины. Чем больше пользователей самостоятельно создают пайплайны и витрины, тем важнее встроить качество в саму платформу, а не проверять данные вручную в конце. Сейчас в SMT есть ручные проверки и автоматические API-тесты, но нет единой сквозной системы. Ищем Data Quality Engineer, который станет техническим владельцем направления в SMT: построит модель, инструменты и процессы, а затем поможет масштабировать их на всю платформу.
Задачи
•Спроектировать модель качества: измерения, метрики и SLO на датасеты.
•Определить уровни критичности и пропорциональные требования к проверкам, алертингу и реакции на нарушения.
•Построить движок проверок и встроить его в жизненный цикл данных: сначала в трансформации и витрины SMT, затем масштабировать на остальные части платформы.
•Сделать базовые проверки автоматическими: генерировать их из метаданных при создании и обновлении датасетов.
•Дать пользователям язык для сложных проверок — декларативный конфиг, SQL-правила или собственный подход. Выбор за тобой.
•Реализовать quality gates: карантин, блокировку публикации, остановку пайплайна, fallback или откат там, где это возможно.
•Настроить наблюдаемость: адресный алертинг, дашборды состояния датасетов, health-score, контроль ложных срабатываний и разбор причин.
•Использовать lineage из OpenMetadata для impact-анализа и вместе с Data Governance развивать data contracts: сначала в SMT, затем на границе с источниками.
•Сделать проверки частью инженерного цикла: версионировать их как код, проводить ревью и доставлять через CI/CD.
•Поддержать миграцию существующих процессов на платформу: построить сверку старого и нового контуров и доказательно подтверждать совпадение цифр.
•Совместно с Data Governance и владельцами данных задавать стандарты покрытия и ревью.
•Помогать инженерам применять инструменты, а не писать все проверки за них.
•Работать с аналитиками как с пользователями: разбираться, где им больно, и делать инструмент, которым пользуются добровольно.
Требования
•Опыт работы в роли Data Engineer или Data Quality Engineer от 3-х лет.
•Хорошее владение Python и SQL на уровне промышленной разработки, а не скриптов.
•Опыт работы с распределённой обработкой: Spark, большие объёмы, понимание, где у обработки узкие места и сколько стоит лишний скан.
•Знакомство с оркестрацией (Airflow или аналоги) и умение встраивать логику в пайплайны, а не рядом с ними.
•Понимание дата-инфраструктуры: DWH и Data Lake, слои, модели данных, витрины.
•Опыт с инструментами качества данных — Great Expectations, Soda, Deequ, dbt tests, Elementary или собственными решениями. Или опыт самостоятельной разработки подобного.
•Понимание статистики на практическом уровне: умение отличить аномалию от сезонности и не завалить команду ложными алертами.
•Продуктовое мышление: внутренний инструмент нужен не для галочки, а чтобы им пользовались.
•Умение договариваться и влиять без формальных полномочий: качество данных — это всегда разговор с владельцами источников, инженерами и потребителями.
Будет плюсом:
•Опыт построения self-service инструментов для аналитиков или разработчиков.
•Работа с открытыми табличными форматами.
•Опыт с каталогами данных: OpenMetadata, DataHub.
•Data Contracts и Data Lineage на практике.
•Anomaly detection на метриках данных, в том числе ML-подходы.
•Опыт сверки данных при миграции хранилищ.
•Опыт публичных выступлений и работы с инженерным брендом.
Условия
•Официальное трудоустройство и полностью белая заработная плата.
•Можно работать удалённо по РФ.
•Гибридный формат — офисы в Москве, Санкт-Петербурге, два — в Новосибирске.
•ДМС и онлайн-консультации специалистов.
•Поддержка выступлений на конференциях и подготовки публикаций.
•Доступ к внутреннему учебному центру: курсам, тренингам и профессиональной литературе.
