Описание
Инженер будет работать с HR-данными в рамках корпоративного DWH.
Задачи
•Разрабатывать и поддерживать пайплайны загрузки и трансформации HR-данных
•Интегрировать источники: API, Kafka, базы данных и файловые хранилища
•Строить витрины и обеспечивать их консистентность
•Оптимизировать производительность и стоимость обработки данных
•Обеспечивать стабильность обработки данных: обрабатывать сбои, настраивать повторные попытки и мониторинг
•Выстраивать архитектурные решения
Требования
•Уверенно разрабатывать на Python
•Знать ETL/ELT-пайплайны, работу с API и обработку больших объёмов данных
•Продвинуто владеть SQL: сложные соединения, оконные функции, оптимизация запросов и понимание планов выполнения
•Иметь практический опыт работы с Greenplum, ClickHouse и MS SQL Server
•Знать MPP, распределение данных и оптимизацию в Greenplum
•Уметь строить витрины и работать с большими таблицами в ClickHouse
•Иметь опыт работы с consumer/producer в Kafka и понимать семантику доставки и обработки сообщений
•Уверенно работать с REST API: пагинация, повторные попытки и обработка ошибок
•Уметь читать и записывать данные в S3-совместимые хранилища, организовывать и партиционировать данные
•Понимать архитектуру хранения данных: DWH, Data Lake, Lake House, Medallion, Federations и другие подходы
Будет плюсом:
•Опыт работы с Trino
•Опыт построения DWH
•Понимание data lineage и контроля качества данных
•Опыт оркестрации с Airflow или аналогами
Условия
•Гибкая система премирования
•Расширенный социальный пакет: ДМС со стоматологией с первого месяца, услуги психолога и страхование жизни
•Компенсация питания и оплата мобильной связи
•Автономность в работе и возможность влиять на правила, пробовать новое и создавать
•Возможность профессионального роста и программы развития
•Корпоративное обучение и доступ к базе знаний
•Внутренние профессиональные сообщества и мероприятия
•График 5/2
•Постоянный контракт
•Офис в Москве по адресу: Проспект Лихачева, 15
