Описание
Мы ищем опытного Databricks Data Engineer для присоединения к растущей команде данных в Барселоне. В этой роли вы будете проектировать, строить и оптимизировать масштабируемые дата-пайплайны и платформы данных с использованием Databricks, Apache Spark и облачных технологий. Вы будете тесно работать с дата-архитекторами, аналитиками, дата-сайентистами и бизнес-стейкхолдерами, чтобы превращать сложные датасеты в надёжные, высококачественные решения, приносящие бизнес-ценность.
Задачи
•Проектировать, разрабатывать и поддерживать масштабируемые ETL/ELT пайплайны с использованием Databricks и Apache Spark.
•Строить и оптимизировать процессы обработки данных с использованием PySpark и SQL.
•Разрабатывать и управлять архитектурами data lakehouse с использованием Delta Lake и платформы Databricks Lakehouse.
•Интегрировать данные из множества источников, обеспечивая качество, консистентность и надёжность данных.
•Реализовывать трансформацию данных, оркестрацию и автоматизацию воркфлоу.
•Оптимизировать производительность, масштабируемость и стоимость пайплайнов.
•Применять лучшие практики управления данными, безопасности и контроля доступа.
•Сотрудничать с кросс-функциональными командами для создания надёжных, готовых к продакшену решений.
•Мониторить, устранять неполадки и улучшать существующие пайплайны и платформы данных.
Требования
•Подтверждённый опыт работы Data Engineer с Databricks.
•Сильное владение Python, PySpark и SQL.
•Практический опыт работы с Apache Spark и Delta Lake.
•Опыт проектирования и реализации ETL/ELT дата-пайплайнов.
•Знание облачных платформ данных, предпочтительно Azure, AWS или Google Cloud.
•Опыт в моделировании данных, data warehousing и lakehouse-архитектурах.
•Знакомство с Git, CI/CD и оркестрацией дата-пайплайнов.
•Сильные аналитические навыки, навыки решения проблем и коммуникации.
•Способность эффективно работать в Agile, совместной среде.
Будет плюсом:
•Опыт с Azure Databricks и сервисами данных Microsoft Azure.
•Знание Delta Live Tables / Lakeflow Declarative Pipelines и Unity Catalog.
•Опыт с Terraform, инфраструктурой как кодом или практиками автоматизированного деплоя.
•Знакомство с Power BI, аналитикой данных или ML воркфлоу.
•Соответствующие сертификации Databricks или облачных платформ.
Условия
•Гибридный формат работы в Барселоне.
•Возможность работать над современными проектами в области дата-инжиниринга и облачной трансформации.
•Коллаборативная и международная рабочая среда.
•Возможности для профессионального развития и технического роста.
•Конкурентный компенсационный пакет, соответствующий опыту.
