Описание
Мы ищем кандидата для нашего клиента в сфере страхования на позицию Data Engineer with Microsoft Fabric (M/F).
Задачи
•Разработка и реализация пайплайнов в Azure Data Factory и PySpark notebooks в Microsoft Fabric.
•Подключение файловых и БД-источников, включая их техническую валидацию и стандартизацию формата.
•Трансформация и подготовка batch-данных.
•Реализация правил валидации качества данных и механизмов отчётности об ошибках.
•Версионирование наборов данных и фиксация метаданных запусков, включая параметры, источники и версии.
•Поддержание качества кода в Git-based workflow: работа с репозиторием, деплои через CI/CD, участие в код-ревью.
•Тесная работа с Risk Team для определения правил трансформации данных.
•Обеспечение соответствия требованиям по приватности и безопасности данных.
•Интеграция стандартов безопасности компании со средой Azure.
•Оптимизация процессов по производительности и стоимости.
Требования
•Не менее 3 лет опыта в качестве Data Engineer в продуктивных проектах.
•Знание Python (и PySpark) и SQL на уровне свободной и эффективной работы с большими наборами данных.
•Практический опыт работы с облачными платформами обработки данных: Microsoft Fabric, Azure Synapse или Databricks.
•Понимание и использование многослойной архитектуры данных, например, medallion architecture.
•Хорошее знание форматов Delta / Parquet.
•Опыт интеграции разнородных источников данных, включая работу с Excel-файлами от бизнес-пользователей.
•Эффективное использование системы контроля версий Git в командной среде.
•Готовность подписать NDA и пройти проверку безопасности (обязательное требование).
Будет плюсом
•Сертификаты Microsoft: DP-600 или DP-700.
•Опыт работы с Data Quality frameworks.
•Опыт создания CI/CD-процессов для data-платформ.
•Знание R.
•Опыт работы в финансовом секторе или другой среде со строгими аудиторскими требованиями.
•Знание agile-методологий управления проектами (Agile, Scrum).
Условия
•Зарплата: от 900 до 1200 злотых netto в день, в зависимости от опыта и компетенций.
•Долгосрочное сотрудничество.
•Технические тренинги, сертификации и профессиональное развитие.
•Mentoring Competence Center — членство в сообществе CC с первого дня работы: развитие навыков, посещение конференций, обмен знаниями и опытом.
•Понятный карьерный путь.
•Пакет льгот для сотрудников (Multisport, частная медицинская страховка, страхование жизни).
•Дружелюбная рабочая атмосфера, интеграционные события и тимбилдинги.
•Реферальная программа.
