Описание
Мы ищем квалифицированного Big Data DevOps Engineer с глубоким знанием облачных технологий и опытом работы с различными инструментами и платформами для данных. Идеальный кандидат имеет подтверждённый опыт управления и оптимизации операций с большими данными в облачных средах.
Задачи
•Строить, развёртывать и поддерживать масштабируемые и защищённые решения для больших данных на основных облачных платформах (AWS, Azure, Google Cloud) для поддержки продвинутой обработки данных и аналитики
•Настраивать и управлять инструментами обработки данных, такими как Apache Spark, Kafka, Airflow и Databricks, для эффективной обработки масштабных рабочих процессов с данными
•Использовать Terraform для инфраструктуры как кода, автоматизировать рабочие процессы с помощью Jenkins и поддерживать код с помощью GitLab для процессов непрерывной интеграции и доставки
•Мониторить и оптимизировать производительность инструментов больших данных и облачных платформ, обеспечивая экономическую эффективность и операционную эффективность
•Внедрять и обеспечивать соблюдение мер безопасности данных, обеспечивая соответствие нормам защиты данных и лучшим практикам в облачных средах
•Работать совместно с data scientists, data engineers и другими заинтересованными сторонами для понимания требований и предоставления качественных решений для данных
Требования
•Сильный опыт работы с технологиями больших данных, особенно Apache Spark или Databricks
•Обширный опыт администрирования облачных сервисов на платформах, таких как AWS, Azure или Google Cloud
•Глубокие знания инфраструктуры как кода с использованием Terraform
•Навыки внедрения CI/CD пайплайнов с помощью таких инструментов, как Jenkins, GitLab или GitHub Actions
•Хорошие навыки скриптинга на Python, Scala или аналогичных языках
•Опыт работы с SQL и реляционными/нереляционными базами данных
•Отличные способности к решению проблем и командный настрой
Будет плюсом
•Сертификации в области облачных технологий (например, AWS Certified Solutions Architect, Google Cloud Certified Professional Cloud Architect)
•Дополнительный опыт работы с инструментами обработки данных в реальном времени, такими как Apache Kafka
Условия
Условий в вакансии нет
