Обязанности
•Разработка и поддержка ETL-пайплайнов на PySpark (обработка данных в Data Lake: Trino+Iceberg, HDFS);
•Проектирование и написание DAG в Apache Airflow;
•Загрузка сырых данных и слоя DDS в Iceberg;
•Построение финальных витрин данных в PostgreSQL (денормализация, агрегации);
•Написание и оптимизация сложных SQL-запросов (в т.ч. оконные функции, CTE);
•Поддержка контроля качества данных: реализация проверок и алертов в пайплайнах;
•Оптимизация производительности: батчинг, партиционирование Iceberg, настройка Spark;
•Взаимодействие с аналитиками BI для корректного построения источников данных под Qlik и Power BI;
•Мониторинг пайплайнов (SLA-контроль, логи, ретраи, обработка сбоев).
Требования
Стек технологий: Python, PySpark, Apache Airflow, Trino, Apache Iceberg, HDFS, PostgreSQL, Scrum
Ключевые требования:
•Опыт коммерческой разработки на Python от 2 лет (именно для data-инженерии, не веб);
•Опыт работы с PySpark от 1 года (чтение/запись в Hive/Iceberg, трансформации, оптимизация);
•Опыт написания DAG в Apache Airflow;
•Хорошее понимание Iceberg (схема эволюции, time travel, MERGE, партиционирование) в связке с Trino;
•Продвинутый SQL (оконные функции, CTE, объединения, подзапросы) на PostgreSQL-подобных диалектах;
•Опыт проектирования витрин в PostgreSQL (денормализация, агрегации, SCD Type 2);
•Понимание контроля качества данных;
•Опыт оптимизации ETL-пайплайнов (работа с большими объёмами, избегание дрейфа схемы, настройка Spark);
•Понимание работы распределённых систем (принципы MapReduce, shuffle, партиционирование);
•Готовность взаимодействовать с BI-разработчиками: понимание Qlik и Power BI.
Условия
•Официальное трудоустройство и стабильная заработная плата;
•Удаленный формат работы;
•Возможности профессионального и карьерного роста внутри банка;
•ДМС после испытательного срока.
