Описание
Развитие корпоративного хранилища данных крупной компании: собираем данные из десятков источников, строим витрины и обеспечиваем единую отчётность для бизнеса. Senior-инженеру предстоит отвечать за ETL-пайплайны, моделирование и качество данных - от источника до готового отчёта.
Задачи
•Проектировать и развивать DWH: слои, витрины и модели данных (звезда, medallion, SCD2)
•Строить и поддерживать ETL/ELT-пайплайны на Airflow, Spark и Python
•Работать с PostgreSQL, Greenplum и ClickHouse, оптимизировать загрузки и запросы
•Организовывать потоковую загрузку из Kafka/RabbitMQ, следить за идемпотентностью и backfill
•Обеспечивать качество данных: тесты, сверки с источниками, мониторинг свежести и объёмов
•Участвовать в архитектурных решениях, проводить код-ревью и наставлять коллег
•Вести документацию и каталог данных
Требования
•Опыт в Data Engineering / DWH от 5 лет
•Продвинутый SQL: оконные функции, CTE, чтение планов, оптимизация
•Python на уровне production-кода
•Опыт ETL/ELT: Airflow и Spark
•Понимание моделирования хранилищ и инкрементальной загрузки
•Опыт работы с ClickHouse или Greenplum/PostgreSQL на больших объёмах
•Kafka или RabbitMQ, Docker, Git, CI/CD
•Опыт код-ревью и наставничество
Будет плюсом: dbt в продакшене; Apache Iceberg (или Delta/Hudi), Trino; Debezium и CDC; инструменты data quality и каталоги данных; Kubernetes, on-prem-инфраструктура
Условия
•Полная занятость с графиком 5/2
•Удалённый формат работы
•Работа в аккредитованной ИТ-компании
•Работа с современным стеком технологий и крупными игроками рынка
•Официальное трудоустройство по ТК РФ или ИП РФ
