Описание
The Sustainability Data & AI team создаёт и поддерживает современную Sustainability Data Foundation на базе Databricks. Она поддерживает отчётность по устойчивому развитию, соответствие регуляторным требованиям и аналитику.
Задачи
•Проектировать и разрабатывать конвейеры данных и продукты данных с использованием Databricks, Delta Lake и PySpark
•Строить модели данных и фреймворки трансформации для больших и сложных наборов данных
•Разрабатывать процессы контроля качества данных, валидации и сверки
•Оптимизировать конвейеры по производительности, масштабируемости и стоимости
•Внедрять CI/CD, автоматическое тестирование и процессы развёртывания
•Поддерживать управление данными, отслеживание происхождения (lineage), безопасность и управление доступом
•Тесно работать с командами Sustainability, Business, Product и Reporting
•Устранять неполадки, проводить анализ первопричин и обеспечивать надёжную поставку в продакшн
•Разрабатывать инструменты на базе Databricks для упрощения доступа к данным и отчётности
Требования
•5+ лет опыта в data engineering и работе с платформами данных
•Сильный производственный опыт работы с Databricks
•Экспертные знания PySpark, SQL, моделирования данных и проектирования конвейеров данных
•Опыт работы с CI/CD, Git, автоматическим тестированием и развёртыванием
•Знание вопросов качества данных, управления, lineage и аудита
•Сильные навыки устранения неполадок и анализа первопричин
•Способность брать на себя ответственность и предоставлять прагматичные, готовые к продакшену решения
Будет плюсом
•Опыт работы с ESG / отчётностью по устойчивому развитию или регуляторной отчётностью
•Знание ERP, данных по закупкам, финансам или поставщикам
•Опыт создания приложений, дашбордов или пользовательских инструментов на Databricks
Условия
•Длительность контракта: > 12 месяцев
•Периодические командировки в Данию
•Длительность: 12 месяцев + опция продления
•Дата начала: 01/27
