Описание
Проект поддерживает инициативы в области AWS, AI и data engineering для крупной научно-технологической компании в фармацевтической отрасли. Компания модернизирует инфраструктуру данных, переходя на Snowflake, чтобы внедрять передовые AI-решения и обеспечить будущие инновации.
Задачи
•Проектировать и работать с базами данных Snowflake, схемами, представлениями и слоями данных RAW, STG и MART
•Управлять доступом с использованием RBAC, иерархий ролей, row-level security и политик доступа на уровне столбцов
•Работать с динамическими таблицами, внешними стейджами, Snowpipe и батчевой загрузкой данных
•Строить и поддерживать надёжные production-grade пайплайны данных в Snowflake
•Писать оптимизированные SQL-запросы для извлечения, преобразования и загрузки данных
•Использовать Python для сложной обработки данных, автоматизации и интеграции систем
•Консультировать по архитектуре Snowflake, его возможностям и лучшим практикам
•Разрабатывать и поддерживать сложные пайплайны данных и ETL-процессы в Snowflake
•Сотрудничать с архитекторами данных, аналитиками и стейкхолдерами для проектирования масштабируемых решений
•Автоматизировать DBT-джобы и строить CI/CD пайплайны с использованием Azure DevOps
•Обеспечивать качество данных, целостность и соответствие требованиям на всём жизненном цикле данных
•Диагностировать, оптимизировать и улучшать процессы и запросы к данным
•Документировать модели данных, процессы и workflow
•Строить тесты данных, unit-тесты и фреймворки mock-данных
Требования
•Степень магистра в области computer science, information technology или смежной области
•5+ лет опыта в data engineering, включая практический опыт работы с Snowflake и DBT
•Обширный опыт написания сложных SQL-запросов и работы с большими объёмами данных
•Глубокое понимание data warehousing и техник моделирования данных, включая OLTP, OLAP и Data Vault 2.0
•Опыт построения пайплайнов трансформации данных с использованием DBT
•Знание тюнинга производительности Snowflake и оптимизации запросов
•Сильные знания CI/CD пайплайнов, предпочтительно в Azure DevOps
•Отличные навыки решения проблем, аналитического и критического мышления
•Сильные коммуникативные, навыки сотрудничества и межличностного общения
Будет плюсом
•AWS
•Streamlit
•Дополнительные технологии данных, такие как AWS, Azure или GCP
•Инструменты Infrastructure as Code, такие как Terraform или CloudFormation
•Опыт руководства проектами или наставничества junior-разработчиков
Условия
Условий в вакансии нет
