Описание
Мы ищем Data Engineer для проектирования, разработки и оптимизации нашей инфраструктуры данных на Databricks. Вы будете архитектурно выстраивать масштабируемые пайплайны, используя BigQuery, Google Cloud Storage, Apache Airflow, dbt, Dataflow и Pub/Sub, обеспечивая высокую доступность и производительность процессов ETL/ELT. Вы будете использовать Great Expectations для обеспечения стандартов качества данных.
Задачи
•Определение и реализация общей архитектуры данных на GCP, включая хранилища данных в BigQuery/Databricks, паттерны data lake в Google Cloud Storage и решения Data Mart (Data Mach).
•Интеграция Terraform для Infrastructure as Code с целью эффективного предоставления и управления облачными ресурсами.
•Создание фреймворков для пакетной и потоковой обработки данных в реальном времени для обеспечения надежности, масштабируемости и экономической эффективности.
•Проектирование, создание и оптимизация ETL/ELT пайплайнов с использованием Apache Airflow для оркестрации воркфлоу.
•Реализация трансформаций dbt (Data Build Tool) для поддержания версионированных моделей данных в BigQuery, обеспечивая согласованность и надежность во всем пайплайне данных.
•Использование Google Dataflow (на основе Apache Beam) и Pub/Sub для масштабной потоковой/пакетной обработки и загрузки данных.
•Автоматизация планирования заданий и трансформаций данных для своевременного предоставления инсайтов для аналитики, машинного обучения и отчетности.
•Реализация событийно-ориентированных или асинхронных воркфлоу данных между микросервисами.
•Использование Docker и Kubernetes (K8s) для контейнеризации и оркестрации, обеспечивая гибкие и эффективные микросервисные воркфлоу данных.
•Реализация CI/CD пайплайнов для упорядоченной разработки, тестирования и развертывания компонентов data engineering.
•Внедрение стандартов качества данных с использованием Great Expectations или аналогичных фреймворков, определение и проверка ожиданий для критичных наборов данных.
•Определение и поддержание стандартов управления метаданными, data lineage и аудита для обеспечения надежности датасетов.
•Реализация практик безопасности, включая шифрование данных при хранении и передаче, управление идентификацией и доступом (IAM) и соответствие GDPR или CCPA, где применимо.
•Сотрудничество с командами Data Science, Analytics и Product для обеспечения поддержки продвинутой аналитики инфраструктурой данных, включая инициативы машинного обучения.
•Поддержание окружений Data Mart (Data Mach), обслуживающих конкретные бизнес-домены, с оптимизацией доступа и производительности для ключевых стейкхолдеров.
Требования
•3+ года профессионального опыта в data engineering, из них как минимум 1 год — с мобильными данными.
•Подтвержденный опыт построения и поддержки окружений BigQuery и data lake на основе Google Cloud Storage.
•Глубокие знания Apache Airflow для планирования/оркестрации и проектирования ETL/ELT.
•Опыт реализации dbt для трансформаций данных, RabbitMQ для событийно-ориентированных воркфлоу, Pub/Sub + Dataflow для потоковых/пакетных пайплайнов данных.
•Знакомство с проектированием и реализацией решений Data Mart (Data Mach), а также с использованием Terraform для IaC.
•Сильные навыки программирования на Python, Java или Scala, а также скриптинга для автоматизации.
•Опыт работы с Docker и Kubernetes (K8s) для контейнеризации сервисов, связанных с данными.
•Практический опыт с CI/CD пайплайнами и DevOps-инструментами (например, Terraform, Ansible, Jenkins, GitLab CI) для управления инфраструктурой и деплоями.
•Владение Great Expectations (или аналогами) для определения и обеспечения стандартов качества данных.
•Экспертиза в проектировании систем для data lineage, управления метаданными и соответствия требованиям (GDPR, CCPA).
•Хорошее понимание систем OLTP (Online Transaction Processing) и OLAP (Online Analytical Processing).
•Отличные коммуникативные навыки для технической и нетехнической аудитории.
•Высокий уровень организованности, самомотивации и способности решать проблемы.
Условия
•Конкурентная компенсация в зависимости от опыта и экспертизы.
•Долгосрочное сотрудничество на контрактной основе.
•Командная и открытая среда.
•Гибкие условия сотрудничества.
