Описание
Проект строит современную корпоративную платформу данных и аналитики на Microsoft Azure в рамках масштабной программы модернизации. Платформа заменяет legacy систему администрирования полисов на SaaS-решение и переносит отчётность и аналитику с SQL Server на Databricks и Microsoft Fabric, поддерживая управляемые data-продукты, продвинутую аналитику и практики разработки с использованием AI.
Задачи
•Проектирование и разработка пайплайнов приёма данных из бизнес-систем в управляемую облачную платформу данных
•Построение масштабируемых решений data engineering с использованием Azure Databricks и Microsoft Fabric
•Реализация паттернов medallion-архитектуры и переиспользуемых инженерных фреймворков
•Разработка курируемых data-продуктов и аналитических датасетов для бизнес-отчётности и принятия решений
•Применение практик AI-assisted разработки с обеспечением качества, governance и аудируемости
•Участие в моделировании данных, построении semantic models, управлении метаданными и аналитических решениях
•Поддержка миграции workload'ов отчётности и аналитики с legacy платформ
•Взаимодействие со стейкхолдерами для перевода бизнес-требований в технические решения
•Предоставление рекомендаций по дизайну, установление инженерных стандартов, участие в code review
Требования
•6+ лет опыта в Data Engineering
•Практический опыт работы с Azure Data Factory, Azure Databricks и Azure Data Lake Storage Gen2
•Сильный опыт программирования на Python, SQL и PySpark
•Опыт внедрения Delta Lake и продакшн lakehouse или medallion архитектур
•Опыт работы с Git и Azure DevOps, включая CI/CD пайплайны для решений с данными
•Опыт работы с окружениями SQL Server
•Практический опыт использования AI coding assistants в проектах разработки ПО
•Умение эффективно общаться на английском с техническими и бизнес-стейкхолдерами
•Опыт принятия решений в области архитектуры или дизайна платформы
•Опыт code review и установления инженерных стандартов
•Опыт сбора требований и прямого сотрудничества с бизнес-стейкхолдерами
•Английский язык для общения с техническими и бизнес-стейкхолдерами
Будет плюсом
•Опыт работы с Microsoft Fabric
•Опыт работы с Sapiens
•Сертификации Microsoft: DP-203, DP-600, DP-700, AZ-900 или DP-900
•Сертификация Databricks Data Engineer Associate или Databricks Data Engineer Professional
•Опыт dimensional modelling, включая star schema, snowflake schema или Data Vault
•Опыт semantic modelling в Power BI
•Знание Microsoft Purview, data lineage и управления метаданными
•Опыт работы в регулируемых финансовых сервисах
Условия
•UK remote, включая удалённо из Лондона
