Описание
Описания нет
Задачи
•Разрабатывать и сопровождать ETL/ELT-пайплайны.
•Работать с Apache Airflow: разрабатывать, поддерживать и оптимизировать DAG.
•Проектировать и реализовывать интеграции и потоки данных.
•Работать с DWH (ODS / DDS / ADS) и большими объёмами данных.
•Оптимизировать запросы, пайплайны и процессы обработки данных.
•Анализировать и устранять инциденты, повышать стабильность процессов.
•Участвовать в code review и развитии стандартов разработки.
•Реализовывать и поддерживать проверки качества данных.
•Взаимодействовать с аналитиками, Data Scientists и другими командами.
•Участвовать в развитии Data Platform и технической документации.
•Для Senior — участвовать в архитектурных решениях, развитии инженерных практик и менторинге команды.
Требования
•Уверенный SQL и Python.
•Практический опыт работы с Apache Airflow.
•Опыт разработки ETL/ELT-пайплайнов.
•Опыт работы с DWH и понимание архитектуры ODS / DDS / ADS.
•Опыт работы с MPP СУБД, предпочтительно Greenplum.
•Понимание принципов оптимизации запросов и пайплайнов.
•Опыт работы с Git и code review.
•Понимание принципов Data Quality и Data Governance.
Будет плюсом
•Опыт работы с ClickHouse и S3
•Понимание Data Vault
•Опыт настройки мониторинга и алертинга
•Знакомство с каталогами данных, например OpenMetadata
•Опыт CI/CD и DevOps-практик
Условия
Условий в вакансии нет
