Описание
Центр компетенций по работе с данными Сбера поддерживает тысячи критических ETL-процессов, необходимых для принятия управленческих решений и работы розничных сервисов. Сейчас он строит платформу индустриализации ETL — сервис для создания пайплайнов с ядром на Scala/Spark, CI/CD и интерфейсом самообслуживания.
Задачи
•Спроектировать ядро платформы и создать универсальный ETL-фреймворк на Scala/Spark, отделив бизнес-логику от инфраструктурного кода
•Настроить автоматический деплой пайплайнов через Git с тестированием, линтингом и подгрузкой секретов из Vault
•Принимать стратегические решения по выбору технологического стека и руководить переходом на него
•Внедрять AI
•Руководить тремя потоками разработки: UI, CI/CD и Core ETL
•Выстраивать стандарты Code Review
Требования
•Высшее техническое образование
•Опыт управления командой из 8–12 инженеров направлений Data, DevOps и UI
•Уверенное владение SQL, Scala, Java, Python, Groovy, Bash и JavaScript
•Опыт работы с Apache Spark, Apache Flink, Apache Iceberg, HDFS, YARN, Kubernetes, S3-совместимыми хранилищами, ClickHouse и PostgreSQL
•Экспертное знание Jenkins Pipeline as Code на Groovy, опыт создания Shared Libraries и настройки многостадийных пайплайнов
•Опыт построения отказоустойчивых высоконагруженных ETL-платформ и понимание микросервисной архитектуры
•Базовое знание React и опыт проектирования асинхронных систем с Celery и Redis
•Знание LangChain/LlamaIndex, RAG, интеграции LLM для генерации кода и обнаружения аномалий, а также AI-подсказок в интерфейсе
Условия
•Офис в Москве по адресу: ул. Поклонная, 3к1
•Ежегодный пересмотр зарплаты и годовая премия
•Расширенная ДМС и льготное страхование для семьи
•Обучение для профессионального и карьерного развития
•Льготная ипотека для сотрудников
•Подписка Прайм с возможностью совместного использования с тремя близкими
•Вознаграждение за рекомендацию друзей в команду Сбера
•Корпоративная пенсионная программа
