Описание
В SberData мы создаём платформу данных для всего Сбера. Это более 350 источников данных и 100+ Пб информации, заказ и получение данных за 15 минут, а также современный технологический стек работы с данными, включая собственные сборки СУБД на базе Hadoop и Greenplum. Наша команда развивает инструменты и внедряет технологию разделённого Compute & Storage в рамках концепции Lakehouse. Наша задача — спроектировать и внедрить надёжное, безопасное решение для высоконагруженных расчётов витрин данных на современных технологиях Compute (Spark, Flink) и Storage (S3), работающее на 10 000+ серверах.
Задачи
•Развитие платформы Lakehouse на k8s — архитектурные решения, код-ревью, технические решения и обеспечение delivery, а также непосредственная разработка ключевых компонентов дата-платформы в Kubernetes
•Техническое проектирование и спецификации — определение архитектуры системы, API-контрактов, интеграционных паттернов с инфраструктурной и security-командами
•Оптимизация производительности дата-платформы — профилирование batch и streaming-сценариев, выявление узких мест, реализация стратегий тюнинга
•Профилирование оборудования и планирование мощности — совместно с инфраструктурным подразделением на основе бенчмарков реальных нагрузок
•Обеспечение безопасности и надёжности — внедрение практик InfoSec в CI/CD
•Определение технической стратегии — оценка новых технологий, PoC, build-vs-buy решения
•Менторство и развитие команды — код-ревью, Pair Programming, техническая экспертиза для членов команды
Требования
•7+ лет в разработке / DevOps
•5+ лет работы с k8s в production — вы запускали рабочие нагрузки на масштабе, а не просто разворачивали кластер
•Глубокая экспертиза в Spark и Ozone — вы запускали Spark on Kubernetes в production
•Глубокое понимание распределённых систем — консистентность, fault tolerance, партиционирование, шардирование, репликация
•Опыт работы с CI/CD, GitOps, infrastructure-as-code (Terraform / Ansible)
•Хорошее понимание принципов информационной безопасности и reliability engineering (мониторинг, алертинг, инцидент-менеджмент)
Будет плюсом
•Практический опыт с Lakehouse-архитектурой — Iceberg / Hudi / Delta Lake
•Опыт эксплуатации аналитических БД: ClickHouse / StarRocks / Trino / Greenplum
•Глубокое знание S3-хранилищ, HDFS, Hive Metastore
•Опыт построения data-платформ на 1000+ серверов / large-scale нагрузок
•Опыт работы с AI/ML нагрузками в Kubernetes — генеративные модели, AI-агенты, MLOps
•Референсы технического лидерства — конференции, блог, open-source контрибуции
Условия
•Комфортный современный офис в Москве: Бизнес-центр Чайка Плаза, рядом с М.Тульская, Верхние котлы
•Гибридный формат работы: 4 дня в офисе / 1 удалённо
•Ежегодный пересмотр зарплаты, годовая премия
•Корпоративный спортзал и зоны отдыха
•Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
•Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
•Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
•Подписка Прайм с возможностью совместного использования на трёх близких
•Вознаграждение за рекомендацию друзей в команду Сбера
