Ищем Data Engineer, который поможет развивать платформу данных: от потоковой загрузки событий и построения моделей до холодного хранения и контроля качества данных.
Обязанности
•Развивать потоковую загрузку событий из RabbitMQ в ClickHouse: подключать новые потоки, настраивать дедупликацию и backfill исторических данных;
•Строить холодное хранилище на Apache Iceberg: выгружать архив из ClickHouse через Spark, переносить исторические данные, развивать подготовленный слой и историю справочников;
•Настраивать инкрементальную загрузку данных из 1С и реплик PostgreSQL, в перспективе — внедрять CDC;
•Разрабатывать витрины и модели данных на dbt и materialized views ClickHouse;
•Ежедневно сверять полноту данных и суммы с источниками, настраивать тесты качества данных, мониторинг свежести и объёма потоков;
•Оркестрировать процессы в Airflow, развивать CI/CD моделей и DAG, поддерживать runbook потоков;
•Участвовать в архитектурных решениях и код-ревью, развивать каталог данных.
Требования
•Опыт в Data Engineering от 4–5 лет;
•Промышленный опыт работы с ClickHouse: MergeTree-движки, materialized views, репликация и оптимизация запросов;
•Уверенное знание SQL и Python;
•Опыт работы с dbt в продакшене: модели, тесты и CI;
•Опыт разработки и эксплуатации DAG в Apache Airflow;
•Опыт работы со Spark и табличными форматами для lakehouse — Iceberg, Delta или Hudi; понимание S3-совместимых хранилищ;
•Опыт потоковой загрузки данных из брокеров сообщений — RabbitMQ или аналогов; понимание at-least-once и идемпотентности;
•Понимание medallion-архитектуры, SCD2 и инкрементальной загрузки;
•Знание Docker и Kubernetes на уровне пользователя, опыт работы с Git.
Будет плюсом
•Опыт загрузки данных из MS SQL или 1С;
•Знание Debezium и CDC;
•Опыт работы с dlt и OpenMetadata;
•Знакомство с платёжными и персональными данными;
•Опыт работы с on-prem инфраструктурой.
Условия
•Конкурентную заработную плату — обсудим после собеседования;
•Удалённый формат работы;
•График 5/2: с 10:00 до 19:00;
•Мощный рабочий ноутбук;
•100% компенсацию больничных;
•Корпоративную скидку на изучение английского языка в Skyeng.
