Описание
Мы ищем GCP Data Engineer для присоединения к высокотехнологичной команде Data & AI engineering, работающей на стыке Software Engineering, Data Engineering и MLOps. Вы будете проектировать и создавать масштабируемые дата-решения, ML-платформы и событийно-ориентированные архитектуры, с акцентом на качество инженерии, автоматизацию и cloud-native разработку.
Задачи
•Проектирование, разработка и эксплуатация масштабируемых дата-пайплайнов для аналитики, отчётности и задач Machine Learning
•Создание дата- и ML-решений с использованием Python, PySpark, Databricks и MLflow
•Разработка batch, streaming и event-driven архитектур в облачной среде
•Применение принципов Software Engineering к Data Engineering, включая чистый код, тестирование, поддерживаемость и масштабируемость
•Оптимизация производительности и надёжности дата-инженерных решений
•Обеспечение качества и согласованности данных через валидацию, мониторинг и автоматизированные процессы
•Создание и поддержка CI/CD пайплайнов для данных и программных нагрузок
•Работа преимущественно в GCP с участием в мультиоблачной среде, включающей Azure
•Сотрудничество с Data Engineers, Software Engineers, Data Scientists, ML Engineers и продуктовыми командами
•Мониторинг и устранение неполадок production-инфраструктуры данных, постоянное улучшение надёжности платформы
Требования
•Сильные навыки программирования на Python, включая твёрдое знание Object-Oriented Programming (OOP)
•Практический опыт работы с PySpark и/или Databricks
•Сильные навыки SQL и опыт работы с платформами, такими как BigQuery и/или Snowflake
•Опыт проектирования и разработки production-grade дата-пайплайнов, включая batch и/или streaming нагрузки
•Хорошее понимание GCP и cloud-native архитектур данных
•Опыт работы с мультиоблачными средами, желательно GCP и Azure
•Опыт работы с CI/CD, желательно с использованием Azure DevOps и/или GitLab CI
•Сильное понимание принципов Software Engineering и DevOps best practices
•Опыт создания масштабируемых, поддерживаемых и готовых к production дата-решений
Будет плюсом
•Опыт работы с MLflow и MLOps практиками
•Docker и Kubernetes
•Опыт работы с LLMs / Applied AI, включая фреймворки, такие как LangChain
•Разработка API с использованием FastAPI или Flask
•Опыт работы с событийно-ориентированными и распределёнными архитектурами
•Знание принципов безопасности данных, управления и приватности
Условия
Условий в вакансии нет
