Описание
Описания нет
Задачи
•Design, develop, and maintain production data pipelines using Python, Apache Airflow, Snowflake, and Amazon S3
•Design and evolve scalable data architectures, including Bronze, Silver, and Gold data layers
•Develop data models and implement incremental loading, historization, versioning, and reusable transformation patterns
•Write and optimize complex SQL transformations, views, stored procedures, dynamic tables, streams, tasks, and scheduled jobs
•Integrate data from relational databases, APIs, object storage, and file-based sources
•Implement data-quality checks, validation, reconciliation, lineage, monitoring, and robust error-handling processes
•Manage Snowflake access controls, roles, permissions, service accounts, and deployment across development, staging, and production environments
•Maintain CI/CD pipelines for Snowflake objects, Airflow DAGs, and Python code using Git and automated testing
•Monitor and troubleshoot production pipelines and proactively improve reliability and performance
•Collaborate with data, analytics, engineering, and other technical teams to translate business and technical requirements into reliable data products
•Create technical documentation and specifications following established quality and compliance standards
Требования
•5+ лет опыта в Data Engineering, включая не менее 3 лет работы с production data platforms
•Сильный практический опыт со Snowflake, включая data modeling, RBAC и управление доступом, управление warehouse, query profiling и оптимизацию производительности, stored procedures
•Продвинутые навыки SQL: сложные joins, CTE, window functions, incremental processing, оптимизация запросов
•Сильные навыки Python для ETL, интеграции с базами данных, автоматизации, обработки ошибок и тестирования
•Production-опыт с Apache Airflow: разработка DAG, зависимости, sensors, task groups, retries, backfills, операционная поддержка
•Опыт работы с реляционными базами данных, object storage, API и файловыми источниками данных
•Глубокое понимание современных архитектур данных: medallion и dimensional modeling, slowly changing dimensions, natural и surrogate keys, historization
•Опыт работы с Git, pull requests, автоматизированным тестированием и CI/CD для data pipelines и database code
•Сильные навыки решения проблем и способность работать самостоятельно в production-окружении
•Snowflake и Apache Airflow являются обязательными требованиями; опыта только с альтернативными data warehouses или orchestration инструментами недостаточно
Будет плюсом
•Опыт в регулируемых или валидированных средах, в сфере life sciences, здравоохранения, клинических, лабораторных, геномных или биоинформатических данных
•Опыт с LIMS или другими научными/клиническими системами данных
•Опыт с OMOP или другими стандартизированными моделями клинических данных
•Опыт с Tableau или Streamlit
•Опыт с научными или вычислительными workflow и инструментами, такими как Nextflow
•Сертификация SnowPro
•Опыт с AWS Managed Workflows for Apache Airflow (MWAA)
Условия
•Конкурентная компенсация
•Гибкий график работы
