Описание
Data Engineer (Senior) — ключевой участник команды, работающей над платформой Data Observability RFQ — DEPOT. В этой senior-роли вы будете архитектурно проектировать и реализовывать масштабируемые пайплайны данных, модели данных и логику трансформации, которые обеспечивают работу платформы наблюдаемости DEPOT, позволяя в реальном времени отслеживать качество данных и обнаруживать аномалии в корпоративных экосистемах данных. Вы будете принимать архитектурные решения по данным, устанавливать лучшие инженерные практики и выступать техническим наставником для junior-инженеров в команде.
Задачи
•Проектировать, строить и оптимизировать масштабируемые пайплайны загрузки данных и ELT/ETL-процессы, питающие платформу наблюдаемости DEPOT, обеспечивая высокую пропускную способность, надёжность и качество данных при масштабировании.
•Разрабатывать и поддерживать логику трансформации данных с использованием dbt и SQL, реализуя размерные модели, паттерны data vault и стратегии инкрементальной загрузки в облачных хранилищах данных и lakehouse.
•Архитектурно проектировать и управлять потоковыми workflow данных в реальном времени и батчем с использованием Apache Kafka и Apache Spark, интегрируя разнородные корпоративные источники данных в экосистему пайплайнов DEPOT.
•Владеть оркестрацией пайплайнов на Apache Airflow — проектировать структуры DAG, управлять зависимостями, настраивать алертинг, непрерывно улучшать наблюдаемость и устойчивость пайплайнов.
•Сотрудничать с платформенными инженерами, AI-инженерами и DevOps-командами для интеграции компонентов data engineering в более широкую платформу наблюдаемости DEPOT и обеспечения бесшовной доступности данных.
•Вести обсуждения архитектуры данных, участвовать в составлении технических проектных документов и код-ревью для поддержания инженерных стандартов и лучших практик моделирования данных в команде.
•Внедрять проверки качества данных, мониторы свежести данных и отслеживание происхождения данных (lineage) по пайплайнам, взаимодействуя с инструментами наблюдаемости (например, Great Expectations, Monte Carlo) для проактивного обнаружения и устранения проблем с данными.
•Наставлять junior data-инженеров через код-ревью, парное программирование и сессии обмена знаниями; вносить вклад во внутреннюю документацию, повторно используемые шаблоны и DataOps-инструментарий.
Требования
•Подтверждённый опыт проектирования и реализации production-grade пайплайнов данных, ELT/ETL-процессов и моделей данных в корпоративных средах.
•Глубокое знание SQL и Python для трансформации данных, написания скриптов для пайплайнов и автоматизации.
•Сильная экспертиза в Apache Spark (PySpark/Scala).
•Сильная экспертиза в Apache Airflow (проектирование DAG, операторы, сенсоры).
•Сильная экспертиза в dbt (модели, тесты, макросы, инкрементальные стратегии).
•Сильная экспертиза в Apache Kafka (producers/consumers, управление топиками, паттерны стриминга).
•Практический опыт с облачно-ориентированными платформами данных, такими как Snowflake, Databricks, BigQuery или Azure Synapse.
•Знакомство с облачными инфраструктурными сервисами (AWS, Azure или GCP) для хранения, вычислений и интеграции данных.
•Опыт работы с системами контроля версий (Git).
•Опыт работы с CI/CD практиками для data workflows.
•Опыт работы с контейнеризированными средами (Docker/Kubernetes).
•Опыт работы с инструментами data observability или качества данных (Great Expectations, Monte Carlo, Soda или аналогичными).
Будет плюсом
•Опыт работы в контексте платформы data observability — инструментирование метаданных, lineage, свежести и метрик качества по пайплайнам.
•Знакомство с DataOps-фреймворками, автоматизированным тестированием данных и управлением эволюцией схем в production-средах.
•Опыт работы с продвинутым экосистемным инструментарием Kafka (Kafka Streams, ksqlDB, Confluent Platform), паттернами event-driven архитектуры и кейсами real-time аналитики.
•Знание архитектур data lakehouse (Delta Lake, Apache Iceberg или Apache Hudi).
•Опыт работы с infrastructure-as-code (Terraform, Pulumi) для провижининга платформ данных.
Условия
•Контракт.
•Полностью удалённая работа.
