Чем предстоит заниматься:
— Проектировать и разрабатывать пайплайны загрузки данных из источников в единый интеграционный слой
— Настраивать CDC через Debezium + Kafka, обрабатывать insert/update/delete, late data, дубли, эволюцию схем
— Разрабатывать ETL-процессы на Informatica PowerCenter, оркестрация потоков через Airflow
— Поддерживать загрузку данных в режиме 1:1 с источником, контролировать полноту и целостность
— Разрабатывать трансформации в преддетальном слое: приведение типов, форматов, структур, ключей и справочников к виду DWH на Oracle
— Работа с Impala/Hadoop + Spark при интеграции данных с источника
— Обеспечивать работу как батчевых, так и near-real-time (NRT) пайплайнов
— Вести документацию, data lineage, метаданные, участвовать в code review
— Работать в кросс-функциональной команде с аналитиками, QA, DBA, архитектором и бизнес-заказчиком
Что мы ожидаем:
— Опыт в Data Engineering от 3 лет
— Уверенный SQL
— Опыт оркестрации пайплайнов в Airflow
— Опыт работы с Kafka и Debezium, понимание CDC
— Опыт обработки JSON/XML и приведения полуструктурированных данных к табличному виду
— Понимание принципов DWH, слоёв хранилища, историчности, SCD, Data Quality
— Опыт работы с батчевыми и NRT-пайплайнами
— Python или другой язык для автоматизации и обработки данных
— Git, понимание процессов релиза
Будет плюсом:
— Опыт с несколькими источниками: 1С, SAP, API, реляционные БД
— Опыт работы с Oracle, PL/SQL
— Опыт работы с большими объёмами данных и стримингом
— Опыт с Great Expectations, dbt или другими DQ-инструментами
— Понимание архитектуры DWH и построения бизнес-сущностей из нескольких источников
— Опыт разработки ETL-процессов на Informatica PowerCenter
Что мы предлагаем взамен:
— Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
— Полную удалёнку или гибрид на выбор, а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный коворкинг в Сочи
— Сложные и интересные задачи, современный стек технологий
— Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
— Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
— Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
— Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
— Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины
