Локация
Москва, офисный формат работы на месте работодателя — м. Кутузовская, ул. Поклонная, 3
Зарплата
До 500 000 ₽ в месяц до вычета налогов
Компания
СБЕР развивает централизованное единое хранилище данных блока B2C и платформы Data Lakehouse и Data Streamhouse.
Что делать
•Проектировать и оптимизировать витрины данных, ETL- и ELT-пайплайны на Apache Spark и Greenplum.
•Разрабатывать потоковые RT- и NRT-пайплайны Kafka2Iceberg и Kafka2Kafka с использованием Apache Flink и Spark Structured Streaming.
•Участвовать в развитии архитектуры Data Lakehouse и Data Streamhouse, включая партиционирование, compaction и time travel в Apache Iceberg.
•Реализовывать инкрементальную загрузку, API доступа к витринам и сервисам семантического слоя на Java или Scala.
•Оптимизировать Spark-приложения с использованием Gluten/Velox, а также разрабатывать механизмы сверки и контроля качества данных.
•Внедрять решения в продуктивную среду, настраивать CI/CD в Jenkins и управлять зависимостями задач в Oozie или современных оркестраторах.
Требования
•Более 6 лет опыта в разработке и эксплуатации высоконагруженных систем.
•Уверенное владение SQL, Java или Scala и Python для ad-hoc-анализа и Data Quality.
•Глубокое понимание Apache Hadoop, включая HDFS и YARN, и опыт промышленной эксплуатации.
•Опыт разработки пайплайнов на Apache Spark Core, Spark SQL и Structured Streaming не ниже middle-уровня.
•Опыт работы с Apache Kafka и Apache Flink или Spark Streaming.
•Знание Parquet, ORC, Avro, Apache Iceberg и методов оптимизации Spark: настройка ресурсов, устранение перекосов данных, работа с памятью и shuffle.
Хорошо, если есть
•Опыт внедрения промышленных пакетных и потоковых пайплайнов передачи данных.
•Опыт работы с Gluten/Velox или аналогичными векторизованными движками.
•Навыки сборки и развертывания Docker-образов приложений.
Культура и преимущества
•Годовая премия и расширенный ДМС, включая льготное страхование для семьи.
•Корпоративная пенсионная программа, спортзал и зоны отдыха в офисе.
•Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
•Регулярные митапы и развитое DS-сообщество.
•Льготный дисконт по ипотечному кредиту, подписка Прайм и вознаграждение за рекомендации.
