Описание
ИТ B2C Сбера — крупнейшая экосистема, развивающая розничные решения, чтобы сделать банковские сервисы доступнее, безопаснее и удобнее. Команда офиса CDO B2C строит платформу данных для быстрого, надежного и качественного обмена информацией между Сбером и компаниями-партнерами. Платформа служит основой для персонализированных предложений умных продуктов и эффективных бизнес-решений.
Задачи
•Проектировать и реализовывать ETL/ELT-пайплайны для загрузки и обработки данных, включая DAG в Apache Airflow
•Оптимизировать и сопровождать процессы обработки больших данных с Apache Spark и Apache Flink
•Интегрировать источники данных — базы данных, API и файловые хранилища — в единую архитектуру конвейеров
•Настраивать и администрировать Airflow для оркестрации рабочих процессов
•Участвовать в разработке архитектуры хранения и обработки данных, включая экосистему Hadoop
•Документировать решения и формировать базы знаний
Требования
•Высшее образование
•Опыт разработки ETL/ELT-процессов: реализации, оптимизации и мониторинга
•Уверенное владение Python, включая библиотеки для работы с данными
•Практический опыт распределенных вычислений с Apache Spark (PySpark/Scala) или Apache Flink
•Глубокое понимание SQL и опыт работы с реляционными СУБД, включая PostgreSQL и MySQL
•Знание Apache Airflow: создание DAG, настройка сенсоров и операторов
•Навыки администрирования Linux: развертывание, мониторинг и устранение неполадок
Будет плюсом: базовое знание Scala или готовность к изучению, опыт с Hadoop (HDFS, YARN, Hive), знание облачных платформ (AWS S3/Glue, GCP BigQuery, Azure Data Factory), навыки автоматизации (Ansible, Terraform), опыт работы с потоковыми данными (Kafka, Debezium)
Условия
•Гибридный формат в Москве, улица Поклонная, 3
•Ежегодный пересмотр зарплаты и годовая премия
•Расширенный ДМС и льготное страхование для семьи
•Система обучения для профессионального и карьерного развития
•Выгодная ипотека для сотрудников
•Подписка Прайм с возможностью совместного использования с тремя близкими
•Вознаграждение за рекомендацию друзей в команду Сбера
•Корпоративная пенсионная программа
