# Инженер по большим данным - Scala
Описание вакансии
Мы ищем опытного инженера по большим данным с глубокими знаниями Scala и Apache Spark для проектирования, разработки и оптимизации масштабируемых решений обработки данных. Идеальный кандидат должен иметь практический опыт работы с распределёнными платформами данных, крупномасштабными ETL/конвейерами данных и технологиями больших данных.
Основные обязанности
•Проектирование, разработка и поддержка масштабируемых приложений и конвейеров данных Big Data.
•Разработка высокопроизводительных решений обработки данных с использованием Scala и Apache Spark.
•Создание и оптимизация ETL/ELT конвейеров для больших объёмов структурированных и неструктурированных данных.
•Работа с технологиями, такими как Hadoop, HDFS, Hive, Kafka и Spark SQL.
•Выполнение настройки производительности и оптимизации задач Spark.
•Разработка переиспользуемых и поддерживаемых фреймворков обработки данных.
•Устранение проблем в производственной среде, связанных с конвейерами данных и распределёнными приложениями.
•Реализация проверок качества данных, мониторинга и механизмов обработки ошибок.
•Сотрудничество с архитекторами данных, аналитиками, бизнес-командами и другими инженерными командами.
•Следование лучшим практикам разработки программного обеспечения, включая Git, код-ревью, тестирование и CI/CD.
Требуемые навыки
•Сильный практический опыт программирования на Scala.
•Глубокие знания Apache Spark / Spark SQL.
•Хорошее понимание концепций Big Data и распределённых вычислений.
•Опыт работы с технологиями экосистемы Hadoop, включая Hadoop/HDFS и Hive.
•Опыт построения крупномасштабных ETL/конвейеров обработки данных.
•Сильные навыки работы с SQL.
•Опыт работы с Kafka или аналогичными технологиями обмена сообщениями/потоковой передачи данных.
•Понимание форматов данных, таких как Parquet, Avro и JSON.
•Опыт оптимизации производительности и устранения неполадок в приложениях Spark.
•Хорошее понимание жизненного цикла разработки программного обеспечения и систем контроля версий.
Желательные навыки
•Опыт работы с AWS, Azure или GCP.
•Знание Databricks.
•Опыт работы с Airflow или аналогичными инструментами оркестрации.
•Знакомство с Delta Lake или другими современными технологиями lakehouse.
•Знание Docker, Kubernetes и CI/CD конвейеров.
•Опыт работы в Agile/Scrum средах.
Ключевые навыки
Scala | Apache Spark | Spark SQL | SQL | Hadoop | HDFS | Hive | Kafka | ETL | Data Engineering | Big Data
