Описание
Заказчик — устоявшийся провайдер финансовых услуг, предлагающий решения для частных лиц и организаций с фокусом на долгосрочное финансовое планирование и инвестиции. Компания сочетает отраслевую экспертизу с современными технологиями, чтобы упростить финансовые процессы и улучшить клиентский опыт, операционную эффективность и доступ к сервисам. Проект заключается в модернизации розничных технологий и построении безопасной, масштабируемой, управляемой корпоративной платформы данных и аналитики для трансформации отчётности, интеграции источников данных и поддержки регуляторной и операционной отчётности, продвинутой аналитики, миграции данных и будущих стратегических продуктов на основе данных.
Задачи
•Вести проектирование, разработку и внедрение масштабируемых решений data engineering для программы Sunrise
•Участвовать в проектировании и реализации новой платформы данных совместно с архитекторами клиента и Principal Data Engineer
•Проектировать и реализовывать пайплайны загрузки данных из Sapiens, IRIS и других корпоративных исходных систем
•Разрабатывать ETL/ELT-пайплайны с использованием Azure Data Factory, Azure Databricks и Microsoft Fabric
•Строить и поддерживать решения для данных на базе Azure Data Lake и современных облачных платформ данных
•Реализовывать медальонную архитектуру и переиспользуемые паттерны data engineering, используя Data Vault для Bronze/Silver и Kimball dimensional modeling для Gold/отчётности
•Разрабатывать курированные наборы данных, аналитические продукты данных и доверенные бизнес-представления
•Реализовывать процессы трансформации, очистки, валидации и сверки данных
•Поддерживать интеграцию source-to-target по мере замены IRIS на Sapiens; это новая интеграционная разработка, а не миграция существующего фреймворка data engineering
•Работать с бизнес-аналитиками, аналитиками данных, архитекторами данных, Principal Data Engineer клиента и другими инженерными командами для перевода требований в готовые к продакшену решения
•Обеспечивать соответствие пайплайнов и продуктов данных требованиям масштабируемости, надёжности, производительности, безопасности и качества данных
•Внедрять автоматизированные проверки качества и валидации данных по пайплайнам и наборам данных
•Поддерживать регуляторную и операционную отчётность, включая выгрузки по перестрахованию и фид для системы оценки, обеспечивая точность, полноту и трассируемость данных
•Внедрять мониторинг, логирование и операционный контроль для пайплайнов и платформенных сервисов
•Вносить вклад в CI/CD и DevOps-практики с использованием Azure DevOps
•Поддерживать автоматизацию пайплайнов и генерации кода там, где это целесообразно; infrastructure-as-code принадлежит отдельному Platform Engineer
•Разрабатывать переиспользуемые фреймворки, компоненты и инженерные стандарты для ускорения доставки программы; редизайнить текущий фреймворк
•Вносить вклад в управление данными, lineage, метаданные и требования безопасности, включая обработку PII в защищённом, обфусцированном слое с контролем доступа
•Работать с платформенными и архитектурными командами для согласования решений с корпоративной архитектурой и стандартами управления
•Изучать и внедрять подходы с применением AI в data engineering и автоматизацию SDLC
•Поддерживать основы данных для будущих кейсов AI и agentic AI; у клиента уже есть продакшен LLM/data-agent на отдельном наборе данных, и планируется аналогичная возможность здесь
•Участвовать в техническом проектировании, код-ревью, устранении неполадок и поддержке продакшена
•Наставлять других инженеров и вносить вклад в лучшие практики команды данных
•Устанавливать инженерные паттерны и стандарты
Требования
•6+ лет коммерческого опыта в Data Engineering
•Опыт проектирования подобного greenfield фреймворка платформы данных
•Сильный практический опыт работы с Azure DevOps, включая YAML-пайплайны и дизайн CI/CD-пайплайнов
•Сильный практический опыт проектирования и разработки enterprise-масштабных пайплайнов и платформ данных
•Сильный опыт работы с сервисами данных Microsoft Azure
•Продвинутый практический опыт работы с Azure Databricks и Apache Spark
•Сильный опыт работы с Azure Data Factory
•Практический опыт работы с Microsoft Fabric и современными облачными аналитическими платформами
•Опыт работы с Azure Data Lake или облачным хранением данных
•Сильные навыки SQL и опыт работы с реляционными и аналитическими данными
•Опыт разработки ETL/ELT и паттернов интеграции данных
•Глубокое понимание медальонной архитектуры и современного дизайна платформ данных
•Знакомство с Data Vault и Kimball dimensional modeling; выделенный опыт моделирования данных не обязателен
•Опыт проектирования масштабируемых, переиспользуемых, готовых к продакшену фреймворков data engineering, желательно с нуля, а не только расширение существующих
•Опыт работы с качеством данных, валидацией, сверкой и мониторингом
•Опыт работы с CI/CD и DevOps-практиками, предпочтительно с Azure DevOps
•Понимание управления данными, метаданных, lineage, безопасности и контроля доступа
•Опыт работы в среде Agile-доставки
•Сильные навыки решения проблем и аналитического мышления
•Умение эффективно работать с бизнес-аналитиками, архитекторами, аналитиками данных и другими техническими стейкхолдерами
•Английский язык на уровне Intermediate+ и выше
Будет плюсом:
•Сертификация Associate, Microsoft Fabric Data Factory, Lakehouse или Fabric Data Engineering
•Опыт с Sapiens или аналогичными корпоративными/бизнес-системами
•Опыт миграции с устаревших платформ отчётности на современные облачные платформы данных
•Опыт в розничной торговле, финансовых услугах, страховании или других регулируемых отраслях
•Опыт с регуляторной отчётностью и аудиторскими требованиями
•Опыт с Data Mesh или реализациями корпоративных платформ данных
•Опыт с событийно-ориентированной или real-time интеграцией данных
•Опыт с AI-ассистированной разработкой программного обеспечения или agentic AI решениями
•Опыт интеграции AI-инструментов в процессы требований, кодирования, тестирования, документации или деплоя
•Опыт с infrastructure-as-code и облачной автоматизацией
•Опыт с Power BI или другими корпоративными BI/семантическими технологиями моделирования
Условия
•Возможность сменить проект и/или развить экспертизу в интересной бизнес-области
•Профессиональный, финансовый и карьерный рост; системы наставничества и онбординга для каждого нового сотрудника
•Возможность заработать до дополнительных 1000 EUR в месяц в зависимости от экспертизы, включённых в годовой бонус, за участие в активностях компании
•Доступ к корпоративному учебному порталу и постоянно обновляемой базе знаний
•Корпоративные мероприятия и удобства, включая вечеринки, pizza days, PlayStation, фрукты, кофе, снеки и кино
•Компенсация сертификации (AWS, PMP и др.)
•Реферальная программа
•Частная медицинская страховка и компенсация занятий спортом, в зависимости от типа занятости
•Работа доступна из Австрии, Бельгии, Болгарии, Хорватии, Кипра, Чехии, Дании, Эстонии, Финляндии, Франции, Германии, Венгрии, Италии, Латвии, Литвы, Люксембурга, Польши, Португалии, Румынии, Словакии, Словении, Испании, Швеции, Нидерландов или Великобритании
