Описание
Expera — IT-интегратор, который реализует проекты в области цифровой трансформации для крупных компаний. Мы ищем Data Engineer для рефакторинга DWH и построения целевой архитектуры на базе SAP BW, IBM watsonx.data Lakehouse и CDC-репликации. Роль предполагает сквозное проектирование потоков данных, обеспечение их качества, отказоустойчивости и соответствия SLA в Production.
Задачи
•Проектировать и внедрять физическую архитектуру потоков: от систем-источников (АБС, API, файлы) через Ingestion/CDC в слои DWH (SAP BW) и Lakehouse (IBM watsonx.data) до аналитических витрин и BI.
•Разрабатывать интеграционные слои и ETL/ELT-пайплайны: загрузки (full, inc, CDC), маппинги, расписания и обработку ошибок.
•Настраивать и сопровождать IBM Data Replication для CDC (initial load, транзакционная согласованность, контроль lag, recovery, сверки).
•Оптимизировать структуры SAP BW и слои Lakehouse: партиционирование, индексация, surrogate/business keys, schema evolution и тюнинг SQL.
•Встраивать автоматический контроль качества данных (DQ, сверки балансов/оборотов, карантинные зоны) и сквозной Data Lineage.
•Обеспечивать DataOps и эксплуатацию: CI/CD для объектов данных (Git, среды DEV/QAS/PRD, автодеплой), мониторинг/алертинг и подготовку техдокументации.
Требования
•Опыт от 3–5 лет в DWH, ETL/ELT или Data Platform Engineering (от 3 лет в enterprise DWH, банках или финтехе).
•Экспертный уровень SQL (сложные аналитические запросы, оконные функции, партиционирование, оптимизация).
•Практический опыт работы с SAP BW (моделирование, производительность, индексы, права) и понимание Oracle DB.
•Опыт построения и эксплуатации CDC/репликации от 2 лет (желательно IBM Data Replication / InfoSphere).
•Глубокое понимание enterprise DWH: проектирование ODS, DDS, витрин данных, dimensional modeling.
•Практический опыт внедрения DQ-проверок, DataOps-подходов (Git/GitLab, CI/CD) и стандартов безопасности (PII, банковская тайна, RBAC, шифрование).
•Свободный русский язык; технический английский для работы с вендорской документацией.
Будет плюсом
•Опыт работы со стеком Data Lake / Lakehouse (IBM watsonx.data, Apache Iceberg, Trino/Presto, Spark, Airflow, dbt).
•Понимание принципов стриминга (Kafka) и опыт работы с OpenShift / Cloud Pak for Data и S3 (MinIO, Ceph).
•Опыт миграции SAP BW/HANA или legacy DWH; наличие профильных сертификаций.
Условия
•Участие в масштабном проекте модернизации DWH в финансовом секторе.
•Работа с современным enterprise-стеком и высоконагруженными системами.
•Конкурентный компенсационный пакет.
