Локация
Удалённая работа, Москва
Компания
Amex Development развивает корпоративное хранилище данных крупной компании, собирая данные из десятков источников и формируя витрины для единой бизнес-отчётности.
Что делать
•Проектировать и развивать DWH, слои, витрины и модели данных: star schema, medallion и SCD2.
•Строить и поддерживать ETL/ELT-пайплайны на Airflow, Spark и Python.
•Работать с PostgreSQL, Greenplum и ClickHouse, оптимизировать загрузки и запросы на больших объёмах.
•Организовывать потоковую загрузку из Kafka или RabbitMQ, обеспечивать идемпотентность и выполнять backfill.
•Обеспечивать качество данных через тесты, сверки с источниками, мониторинг свежести и объёмов.
•Участвовать в архитектурных решениях, проводить код-ревью, наставлять коллег, вести документацию и каталог данных.
Требования
•От 5 лет опыта в Data Engineering или DWH; общий опыт более 6 лет.
•Продвинутый SQL: оконные функции, CTE, чтение планов и оптимизация.
•Python на уровне production-кода.
•Опыт работы с ETL/ELT, Airflow и Spark.
•Понимание моделирования хранилищ и инкрементальной загрузки.
•Опыт работы с ClickHouse или Greenplum/PostgreSQL на больших объёмах.
•Опыт работы с Kafka или RabbitMQ, Docker, Git и CI/CD.
•Опыт проведения код-ревью и наставничества.
•Опыт использования dbt в продакшене.
•Знание Apache Iceberg или Delta/Hudi, Trino, Debezium и CDC.
•Знание инструментов data quality и каталогов данных.
•Опыт работы с Kubernetes и on-prem-инфраструктурой.
Культура и преимущества
•Полная занятость с графиком 5/2.
•Удалённый формат работы.
•Работа в аккредитованной ИТ-компании.
•Современный стек технологий и проекты для крупных игроков рынка.
•Официальное трудоустройство по ТК РФ или работа через ИП РФ.
