Описание
Uzum — крупная экосистема, работающая с данными по подходу Data Mesh. Она строит платформу самообслуживания, чтобы домены могли самостоятельно публиковать свои продукты данных, и внедряет федеративное управление данными с автоматическими правилами для контрактов, качества, доступов, метаданных и стоимости запросов.
Задачи
•Проектировать и строить платформу самообслуживания с нуля — от подключения источника до публикации продукта данных без участия команды
•Автоматизировать жизненный цикл контрактов данных: описывать схемы, версионировать их, проверять обратную совместимость в CI, валидировать данные в рабочей среде, генерировать DDL и конвейеры из контракта
•Настраивать каталог данных и OpenMetadata под внутреннюю модель: создавать сущности и пользовательские свойства, регистрировать продукты данных, выстраивать lineage от источника до витрины, связывать каталог с контрактами, качеством и доступами, дорабатывать API и UI
•Встраивать в платформу проверки данных, SLA для продуктов данных, оповещения, метрики свежести и полноты, контроль стоимости запросов и хранения
•Работать с доменными командами: разбирать модели данных, проектировать продукты данных, переносить существующие конвейеры на платформу и доводить их до рабочей среды
•Проводить обучение и ввод доменных команд в работу: организовывать семинары, писать документацию и руководства, разбирать типовые ошибки и поддерживать команды на первых итерациях
•Работать с пакетными и потоковыми конвейерами в рабочей среде
Требования
•Практический опыт в инженерии данных, знание Python и SQL, оркестрации и производственных конвейеров данных
•Опыт работы с Airflow или другими оркестраторами
•Понимание пакетной и потоковой обработки, опыт работы со Spark или PySpark
•Опыт работы с lakehouse- и аналитическими технологиями: Trino/Presto, ClickHouse, Iceberg/Parquet/DeltaLake
•Опыт работы с Kafka, Kafka Connect, Debezium или другими инструментами потоковой передачи событий
•Опыт разработки внутренних инструментов и сервисов, включая чистый код, тесты, CI/CD и Kubernetes
•Умение учитывать надёжность, стоимость, качество данных, поддержку и влияние изменений на пользователей
•Умение собирать требования у внутренних пользователей, объяснять решения, проводить обучение и писать полезную документацию
Будет плюсом: опыт работы с контрактами данных, каталогами данных, системами контроля качества данных, dbt и внедрением Data Mesh или похожей децентрализованной модели
Условия
Условий в вакансии нет
