Описание
Мы ищем опытного Data Engineer для проектирования, разработки и поддержки масштабируемых пайплайнов данных в глобальной GxP-регулируемой среде. Роль предполагает интеграцию данных из систем SAP, LIMS и MES, построение автоматизированных ETL/ELT процессов и создание надёжных решений на основе современных облачных технологий обработки данных.
Задачи
•Разработка и оркестрация автоматизированных batch и streaming пайплайнов данных.
•Построение и оптимизация трансформаций данных с помощью SQL и Python.
•Реализация моделей данных по dimensional и medallion архитектуре.
•Управление оркестрацией workflow, CI/CD, контролем версий и автоматизированным тестированием.
•Внедрение контроля качества данных, мониторинга, lineage и governance.
•Обеспечение соответствия принципам ALCOA+ и регуляторным требованиям 21 CFR Part 11 / EMA.
•Оптимизация производительности, надёжности и стоимости пайплайнов.
Требования
•Сильный опыт в SQL, Python, ETL/ELT и Data Modelling.
•Практический опыт работы со Snowflake, Apache Airflow и dbt.
•Знание Talend и Amazon S3.
•Опыт работы с GitLab, CI/CD и автоматизированным тестированием.
•Понимание инструментов качества данных, lineage и observability, таких как Collibra.
Будет плюсом
•Опыт работы в GxP-регулируемых средах и знание ALCOA+ / 21 CFR Part 11.
Условия
•Длительность контракта: 12 месяцев (с возможностью продления).
