Описание
LeverX — глобальная компания и SAP Gold Partner с 20-летним опытом реализации международных проектов для клиентов из различных отраслей.
Задачи
•Проектирование, разработка и поддержка масштабируемых пайплайнов данных и трансформаций с использованием Databricks и dbt
•Построение надёжных ETL/ELT процессов для структурированных и полуструктурированных данных с использованием SQL, Python и PySpark
•Реализация и оптимизация Delta Lake таблиц и lakehouse-архитектур для производительности, масштабируемости и экономической эффективности
•Разработка переиспользуемых, протестированных и хорошо документированных dbt моделей, включая автоматические проверки качества данных и мониторинг
•Взаимодействие с аналитиками данных, дата-сайентистами, инженерами и бизнес-стейкхолдерами для перевода требований в надёжные решения по данным
•Поддержка CI/CD, контроля версий и практик автоматического тестирования для пайплайнов данных и трансформаций
•Устранение проблем в продакшене, оптимизация нагрузок Databricks, повышение надёжности и наблюдаемости платформы данных
Требования
•3+ года профессионального опыта в Data Engineering
•Сильный практический опыт с Databricks, dbt, SQL и Python и/или PySpark
•Хорошее понимание Delta Lake, lakehouse-архитектуры и распределённой обработки данных
•Опыт проектирования и поддержки продакшн-грейд ELT пайплайнов
•Опыт работы с Git и CI/CD процессами разработки
•Понимание моделирования данных, качества данных, тестирования и концепций data governance
•Опыт работы хотя бы с одной крупной облачной платформой: Azure, AWS или GCP
•Сильные навыки диагностики проблем и оптимизации производительности
•Английский язык B2+
Будет плюсом
•Сертификации Databricks
•Databricks Unity Catalog
•Databricks Workflows
•Airflow
•Azure Data Factory
•Infrastructure as Code, Terraform
•Dimensional modeling
•Современные практики analytics engineering
•Опыт работы с крупномасштабными корпоративными платформами данных
Условия
•Проекты в сферах здравоохранения, производства, e-commerce, финтеха и других доменах, включая стартап-продукты, корпоративные решения, R&D-инициативы и проекты, сочетающие SAP с веб-технологиями
•Глобальные клиенты из Европы и США, включая компании из списка Fortune 500
•Гарантия занятости: найм в команду компании, с переводом на новый проект при завершении текущего
•Рыночная компенсация и регулярные performance review
•Внутренние экспертные сообщества и курсы
•Программы поддержки профессионального роста и благополучия
