Описание
Команда строит и поддерживает инфраструктуру данных и платформенные инструменты для крупной инженерной организации, включая решения по обмену данными между регионами, инфраструктуру совместного использования данных на базе Databricks и бэкенд-интеграции, используемые инженерами в разных регионах.
Задачи
•Проектирование и реализация решений по обмену данными между регионами в средах со строгими регуляторными и требованиями безопасности
•Разработка и поддержка масштабируемых бэкенд-сервисов и интеграций на Python
•Разработка и поддержка пайплайнов данных с использованием PySpark и Apache Airflow (MWAA)
•Развертывание и управление окружениями Databricks на AWS с использованием переиспользуемых модулей Terraform
•Настройка и поддержка Delta Sharing для безопасного обмена данными между аккаунтами Databricks
•Создание микросервисов и платформенных инструментов, обеспечивающих совместную работу распределенных инженерных команд
•Участие в платформенных инициативах, используемых инженерами по всему миру
•Взаимодействие с кросс-функциональными стейкхолдерами в разных географиях и бизнес-подразделениях
Требования
•3+ года опыта в Data Software Engineering
•Сильный опыт бэкенд-разработки на Python, включая асинхронные паттерны, чистый код и тестирование с pytest
•Рабочие знания сервисов AWS, таких как IAM, S3 и DynamoDB
•Знакомство с Kubernetes на AWS, CodeArtifact и MWAA
•Практический опыт работы с Databricks и PySpark для разработки пайплайнов данных и управления платформой
•Опыт проектирования и построения микросервисной архитектуры и распределенных систем
•Навыки Infrastructure as Code с использованием Terraform или аналогов
•Понимание принципов безопасности и конфиденциальности данных, включая GDPR
•Проактивная ответственность за результаты от начала до конца
•Уважительная коммуникация и разделение ответственности за результаты команды
•Самостоятельность и умение управлять нагрузкой в распределенной команде
•Приверженность качеству, лучшим практикам и непрерывному совершенствованию
•Английский язык уровня B2+; способность свободно общаться с англоговорящими стейкхолдерами и четко излагать техническое обоснование
•Будет плюсом: экспертиза в Delta tables и Delta Sharing, компетенции в моделировании данных и проектировании расширяемых схем
Условия
Не указаны
