Описание
Мы ищем квалифицированного Big Data DevOps Engineer с глубоким знанием облачных технологий и опытом работы с различными инструментами и платформами для данных. Идеальный кандидат имеет подтвержденный опыт управления и оптимизации операций с большими данными в облачных средах.
Задачи
•Создание, развёртывание и поддержка масштабируемых, безопасных решений для больших данных в AWS, Azure и Google Cloud для продвинутой обработки данных и аналитики
•Настройка и управление Apache Spark, Kafka, Airflow и Databricks для крупномасштабных рабочих процессов с данными
•Использование Terraform для инфраструктуры как кода, автоматизация рабочих процессов с помощью Jenkins и поддержка кода в GitLab для CI/CD
•Мониторинг и оптимизация инструментов для больших данных и производительности облачных платформ для повышения экономической эффективности и операционной эффективности
•Внедрение и обеспечение соблюдения мер безопасности данных, соответствия нормам защиты данных и лучшим практикам облачных технологий
•Сотрудничество с data scientists, data engineers и другими заинтересованными сторонами для понимания требований и предоставления качественных решений для данных
Требования
•Значительный опыт работы с технологиями больших данных, в частности Apache Spark или Databricks
•Обширный опыт администрирования облачных сервисов, таких как AWS, Azure или Google Cloud
•Глубокое знание инфраструктуры как кода с использованием Terraform
•Владение внедрением CI/CD пайплайнов с Jenkins, GitLab или GitHub Actions
•Навыки скриптинга на Python, Scala или аналогичных языках
•Опыт работы с SQL и реляционными или нереляционными базами данных
•Сильные способности к решению проблем и командная ориентированность
Будет плюсом
•Сертификации по облачным технологиям
•Дополнительный опыт работы с инструментами обработки данных в реальном времени, такими как Apache Kafka
Условия
Условия в вакансии не указаны.
