Описание
Мы ищем опытных Azure Data Engineers с сильной практической экспертизой в Azure Databricks, Python и Azure Data Engineering. Идеальные кандидаты должны иметь опыт проектирования и разработки масштабируемых ETL/ELT пайплайнов, реализации Delta Lake/Lakehouse решений, оптимизации производительности обработки данных и управления CI/CD развертываниями с использованием Azure DevOps.
Задачи
•Проектировать, разрабатывать и поддерживать масштабируемые дата-пайплайны с использованием Azure Databricks и Python.
•Строить и оркестрировать ETL/ELT процессы с использованием Azure Data Factory (ADF).
•Разрабатывать и управлять решениями для данных с использованием Azure Data Lake Storage (ADLS Gen2).
•Реализовывать решения на основе Delta Lake и Lakehouse архитектуры.
•Выполнять трансформацию, обработку и интеграцию данных в структурированных и полуструктурированных наборах данных.
•Оптимизировать дата-пайплайны по производительности, масштабируемости и надежности.
•Реализовывать процессы CI/CD для дата-пайплайнов и Databricks workloads с использованием Azure DevOps.
•Мониторить, диагностировать и устранять проблемы в дата-пайплайнах.
•Сотрудничать с клиентскими стейкхолдерами и onsite/offshore командами для доставки решений в области инжиниринга данных.
Требования
•Сильная практическая экспертиза в Azure Databricks и Python.
•Опыт работы с Azure Data Factory (ADF) для разработки и оркестрации ETL/ELT.
•Хорошее знание Azure Data Lake Storage (ADLS Gen2).
•Глубокое понимание концепций Delta Lake и Lakehouse.
•Отличные навыки SQL и опыт работы с крупномасштабными наборами данных.
•Опыт в трансформации данных, оптимизации производительности и устранении неисправностей.
•Понимание CI/CD и Azure DevOps.
•Сильные коммуникативные и клиентоориентированные навыки.
•Кандидаты должны иметь действующее постоянное разрешение на работу в Нидерландах. Спонсорство визы или рабочего разрешения для этой позиции в настоящее время не предоставляется.
Условия
Условий в вакансии нет.
