# Senior Data Engineer — Miractal
Локация: удалённый формат работы; график 5/2: с 10:00 до 19:00 или с 11:00 до 20:00
Компания
Miractal развивает платформу данных с потоковой загрузкой событий, аналитическими моделями и холодным хранением.
Что делать
•Развивать потоковую загрузку событий из RabbitMQ в ClickHouse, включая подключение новых потоков, дедупликацию и backfill исторических данных.
•Строить холодное хранилище на Apache Iceberg, переносить архивные данные из ClickHouse через Spark и развивать историю справочников.
•Настраивать инкрементальную загрузку из 1С и реплик PostgreSQL, а также участвовать во внедрении CDC.
•Разрабатывать витрины и модели данных на dbt и materialized views ClickHouse.
•Настраивать проверки полноты, тесты качества данных, мониторинг свежести и объёма потоков.
•Оркестрировать процессы в Airflow, развивать CI/CD моделей и DAG, поддерживать runbook, участвовать в архитектурных решениях и код-ревью.
Требования
•Опыт в Data Engineering от 4–5 лет.
•Промышленный опыт работы с ClickHouse: MergeTree-движки, materialized views, репликация и оптимизация запросов.
•Уверенное знание SQL и Python, опыт работы с dbt в продакшене, включая модели, тесты и CI.
•Опыт разработки и эксплуатации DAG в Apache Airflow, а также работы со Spark и табличными форматами lakehouse: Iceberg, Delta или Hudi.
•Опыт потоковой загрузки из RabbitMQ или аналогичных брокеров, понимание at-least-once и идемпотентности.
•Понимание medallion-архитектуры, SCD2 и инкрементальной загрузки; знание Docker, Kubernetes и Git на рабочем уровне.
Хорошо, если есть
•Опыт загрузки данных из MS SQL или 1С.
•Знание Debezium и CDC.
•Опыт работы с dlt и OpenMetadata.
•Знакомство с платёжными и персональными данными.
•Опыт работы с on-prem инфраструктурой.
Культура и преимущества
•Удалённый формат работы.
•График 5/2 с двумя вариантами рабочего времени.
•Мощный рабочий ноутбук.
•100% компенсация больничных.
•Корпоративная скидка на изучение английского языка в Skyeng.
