О команде
Мы передовое ИТ подразделение, создающее дата платформу на сотни петобайт данных для крупнейшего юнита банка.
Нами реализована загрузка, обработка и контроль качества разрозненных данных из сотен систем-источников банка в единое хранилище в Data Lakehouse архитектуре на платформе Hadoop.
Ищем сильных и энергичных дата инженеров для развития нашей платформы в сторону обработки данных в режимах батчевой и потоковой загрузки.
Вы будете работать в сильной команде дата инженеров с сложными инженерными задачами, передовым стеком технологий и самыми большими объемами данных в Европе.
Задачи разработки и поддержки витрин данных в Hadoop (HDFS, Iceberg, Hive), ETL - Spark, CTL - Oozie, CI/CD - Jenkins + BitBucket.
Языки - Python, Java, Scala.
Обязанности
•разработка DWH/DataLake/LakeHouse
•построение поставки данных в Batch
•оптимизация ETL
•разработка и валидация архитектуры данных
•people management – планирование релизов, ресурсов команды
•обеспечение надежности промышленных ETL потоков
Требования
•отличное знание SQL (join, CTE, оконные функции, фреймы и др.)
•опыт работы с Hadoop, Spark, Iceberg
•опыт работы с оркестраторами (например, Airflow) и CI/CD
•опыт построения архитектуры данных (например, Data Vault, Инман, Кимбалл и др.)
•опыт кратной оптимизации spark приложений
•практический опыт разработки solution-архитектуры data-продуктов
•практическое знание python на уровне разработки ETL будет преимуществом
•практическое знание java/scala будет преимуществом
•практический опыт создания и защиты архитектуры данных будет преимуществом
•навыки работы с генеративными AI-моделями, опыт использования GigaChat, Kandinsky и аналогов в продуктах
•навыки создания и использования AI-агентов, инструментальное владение AI для анализа, генерации и автоматизации
Условия
•ежегодный пересмотр зарплаты и годовая премия
•расширенный ДМС и льготное страхование для семьи
•уникальная система обучения Сбера для профессионального и карьерного развития
•выгодная ипотека для сотрудников
•подписка Прайм с возможностью совместного использования на трёх близких
•вознаграждение за рекомендацию друзей в команду Сбера
•корпоративная пенсионная программа
