Описание
Привет, на связи компания Centras! Мы находимся в поиске талантливого Data Engineer, который присоединится к новому отделу DataHub! Вместе с командой вы будете создавать централизованную платформу для сбора, интеграции и подготовки данных холдинга, обеспечивая ими бизнес-продукты, аналитику и принятие решений на основе данных.
Задачи
•Разрабатывать и поддерживать ETL/ELT-пайплайны для централизованного сбора данных из различных источников холдинга.
•Интегрировать данные из БД, API, файлов, внешних систем и внутренних сервисов.
•Проектировать и развивать модели данных для аналитических и продуктовых задач.
•Создавать и оптимизировать DWH/Data Lake/Data Mart решения.
•Обеспечивать качество, целостность и актуальность данных.
•Автоматизировать процессы загрузки, трансформации и обработки данных.
Требования
•Опыт работы Data Engineer / ETL Developer / Analytics Engineer от 1 года.
•SQL: запросы, CTE, оконные функции, оптимизация.
•Знание Python для обработки данных и автоматизации.
•Опыт построения и поддержки ETL/ELT-пайплайнов.
•Понимание принципов построения DWH, Data Lake и витрин данных.
•Опыт работы с реляционными БД — PostgreSQL / MySQL / ClickHouse или аналогами.
•Понимание принципов моделирования данных и построения аналитических моделей.
•Опыт работы с Git и понимание основных принципов CI/CD.
Будет плюсом
•Опыт работы с Apache Airflow или другими оркестраторами.
•Опыт работы с Yandex Cloud / AWS / GCP.
•Опыт с ClickHouse, Greenplum, BigQuery, Spark.
•Опыт построения Data Lake / Lakehouse.
•Знание Kafka и принципов потоковой обработки данных.
•Опыт работы с dbt.
•Понимание Data Governance, MDM и Data Quality.
Условия
Условий в вакансии нет.
