Задачи
•Проектировать и разрабатывать пайплайны загрузки данных из источников в единый интеграционный слой
•Настраивать CDC через Debezium и Kafka, обрабатывать вставки, обновления и удаления, поздние данные, дубли и изменения схем
•Разрабатывать ETL-процессы на Informatica PowerCenter и оркестрировать потоки через Airflow
•Поддерживать загрузку данных в режиме 1:1 с источником, контролировать полноту и целостность
•Разрабатывать трансформации в преддетальном слое, приводить типы, форматы, структуры, ключи и справочники к виду DWH на Oracle
•Интегрировать данные из источников с помощью Impala, Hadoop и Spark
•Обеспечивать работу пакетных и почти оперативных пайплайнов
•Вести документацию, отслеживание происхождения данных и метаданные, участвовать в проверке кода
•Работать в кросс-функциональной команде с аналитиками, специалистами по тестированию, администраторами баз данных, архитектором и бизнес-заказчиком
Требования
•Опыт в инженерии данных от 2–3 лет
•Уверенное знание SQL
•Опыт оркестрации пайплайнов в Airflow
•Опыт работы с Kafka и Debezium, понимание CDC
•Опыт обработки JSON и XML, преобразования полуструктурированных данных в табличный вид
•Понимание принципов DWH, слоёв хранилища, историчности, SCD и качества данных
•Опыт работы с пакетными и почти оперативными пайплайнами
•Знание Python или другого языка для автоматизации и обработки данных
•Знание Git и понимание процессов выпуска
Будет плюсом: опыт работы с несколькими источниками, включая 1С, SAP, API и реляционные базы данных, Oracle и PL/SQL, большими объёмами данных и потоковой обработкой, Great Expectations, dbt или другими инструментами контроля качества данных, архитектурой DWH и построением бизнес-сущностей из нескольких источников, разработкой ETL-процессов на Informatica PowerCenter
Условия
•Квартальная премия по результатам KPI
•Программа ДМС с первых дней работы, включая стоматологию и страхование
•Компенсация 10 дней больничного
•Оплата профильных конференций и курсов
•Доступ к корпоративным библиотекам Alpina Digital и MyBook, а также бизнес-изданиям
•Доступ к спортивным залам в Москве, Санкт-Петербурге и Екатеринбурге, скидки на услуги туристических агентств, продукты питания, рестораны, бары и магазины
