О компании
Мы DIGIPAL, агентство software delivery, специализирующееся на построении высокоэффективных команд дизайна продуктов и разработки ПО для клиентов в Европе и Северной Америке. Мы работаем с широким спектром организаций — от амбициозных стартапов до мультинациональных корпораций. У нас уникальная карьерная возможность для вас — работать над созданием интересных цифровых продуктов для международных клиентов, оставаясь гибким в полностью удалённом формате и получая топовый компенсационный пакет.
Задачи
•Проектировать, разрабатывать и поддерживать масштабируемые решения для данных в средах Azure Databricks, Azure Synapse Analytics и Azure Data Lake.
•Строить, поддерживать и оптимизировать ETL/ELT пайплайны для загрузки, трансформации и предоставления данных из нескольких бизнес-доменов.
•Разрабатывать решения для обработки данных с использованием Python, SQL и Apache Spark.
•Внедрять и поддерживать Databricks workflows, Delta Live Tables (DLT), метаданные-ориентированные фреймворки и процессы оркестрации данных.
•Поддерживать миграцию и модернизацию платформы данных, включая внедрение Unity Catalog, обновления платформы и архитектурные улучшения.
•Применять принципы архитектуры Lakehouse для создания надёжных, масштабируемых и поддерживаемых решений для данных.
•Обеспечивать качество, консистентность, надёжность, безопасность и производительность данных в пайплайнах и компонентах платформы.
•Оптимизировать рабочие нагрузки обработки данных, выполнение пайплайнов и структуры хранения для повышения производительности и снижения затрат на инфраструктуру.
•Участвовать в реализации CI/CD и автоматизации деплоя с использованием Azure DevOps и связанных инструментов.
•Поддерживать автоматизацию инфраструктуры, мониторинг, логирование и операционные лучшие практики.
•Устранять инциденты в продакшене, проводить анализ корневых причин и реализовывать долгосрочные корректирующие меры.
•Сотрудничать с архитекторами данных, платформенными инженерами, аналитиками и бизнес-стейкхолдерами для перевода бизнес-требований в технические решения.
•Участвовать в проектировании решений и архитектурных ревью, обеспечивая соответствие корпоративной архитектуре данных, стандартам governance и принципам Lakehouse.
•Поддерживать отчётность, аналитику и инициативы в области AI/ML, предоставляя надёжные, качественные данные.
•Продвигать лучшие инженерные практики, участвовать в обмене знаниями и поддерживать техническое развитие членов команды.
Требования
•Сильный профессиональный опыт в Data Engineering, построении и поддержке production-grade платформ и пайплайнов данных.
•Практический опыт работы с Azure Databricks, Apache Spark, Python и SQL.
•Подтверждённый опыт проектирования, реализации и оптимизации ETL/ELT процессов.
•Опыт работы с экосистемой данных Azure, включая Azure Data Factory, Azure Data Lake и Azure Synapse Analytics.
•Практический опыт работы с Delta Live Tables (DLT) и Databricks workflows.
•Понимание Unity Catalog, включая governance данных, контроль доступа и управление метаданными.
•Твёрдое понимание архитектуры Lakehouse и принципов проектирования современных платформ данных.
•Опыт работы с CI/CD практиками и автоматизацией деплоя, предпочтительно с использованием Azure DevOps.
•Знакомство с автоматизацией инфраструктуры, мониторингом, логированием и поддержкой продакшена.
•Опыт улучшения производительности, надёжности, масштабируемости и стоимостной эффективности пайплайнов данных.
•Понимание качества данных, governance данных, безопасности, соответствия требованиям и операционной эффективности.
•Сильные аналитические навыки, навыки диагностики проблем и решения задач.
•Способность работать самостоятельно, брать на себя ответственность за технические инициативы и доводить задачи до завершения.
•Проактивный подход к выявлению рисков, устранению блокеров и предложению практических улучшений.
•Уровень английского языка B2 или выше.
Будет плюсом:
•Знакомство с Power BI и его интеграцией с платформами данных.
•Опыт работы с Azure Data Explorer.
Условия
•Удалённая работа
•B2B контракт
•Привлекательный компенсационный пакет
•Возможности профессионального роста и развития
•Сотрудничество с лучшими специалистами со всего мира
•Создание мирового уровня цифровых продуктов для европейского и американского рынков
