Что предстоит делать?
•Определять и развивать целевую архитектуру платформы данных и ключевых доменных моделей
•Проектировать и реализовывать критичные пайплайны и хранилища, обеспечивая надёжность, производительность и масштабируемость
•Вводить и поддерживать стандарты качества данных, схем, версионирования, мониторинга и алёртинга
•Проводить архитектурные ревью, дизайн-сессии, помогать команде в декомпозиции и решении сложных задач
•Оптимизировать существующие решения: хранение, запросы, пайплайны, снижать стоимость и повышать SLA
•Проводить capacity planning и нагрузочное тестирование платформы, определять узкие места и планировать масштабирование вычислительных, сетевых и storage-ресурсов
•Проектировать отказоустойчивость и disaster recovery платформы: репликацию, резервное копирование, восстановление, RPO/RTO и сценарии отказа отдельных компонентов и кластеров
Мы ожидаем, что вы:
•Имеете высокий уровень владения Python, SQL, Airflow, dbt
•Имеете опыт построения систем с HA/DR: отказоустойчивость, disaster recovery, backup/restore, RPO/RTO, multi-AZ/кластерные конфигурации
•Имеете глубокое знание ClickHouse и его архитектуры, а также методов оптимизации хранения/скорости доступа к данным: шардирование, репликация, Distributed-таблицы, ClickHouse Keeper, MergeTree-семейство, партиционирование, TTL, materialized views, projections, работа с S3, tiered storage, ORDER BY/primary key, индексы, JOIN, агрегации и т.п.
•Имеете глубокое понимание архитектуры распределённых систем: CAP, репликация, консистентность, отказоустойчивость, идемпотентность
•Имеете опыт построения высоконагруженных ingestion-пайплайнов, включая SLA на каждом этапе: ingestion → storage → transformation → serving → BI/ML. Kafka/очереди сообщений, batch и streaming ingestion, consumer groups, backpressure, retries, deduplication, ordering, schema evolution
•Имеете опыт построения data platform / lakehouse / DWH: raw/bronze → silver → gold, медальонная модель, витрины, семантический слой, object storage
•Обладаете навыками оптимизации стоимости хранения и обработки: hot/warm/cold storage, TTL, S3, compression, retention policies, pre-aggregation
•Знаете Metabase (будет дополнительным плюсом)
Почему вам понравится работать у нас?
•Сильная команда, амбициозные задачи и продукты, которыми пользуются миллионы
•Новый офис SberDevices в центре Москвы
•Удобный формат работы с возможностью гибкого начала рабочего дня
•Надёжная программа ДМС и НС с первого месяца работы
•Обучение и развитие: курсы и тренинги от корпоративного университета, внешнее обучение за счёт компании и участие в конференциях
•Льготная ипотека и корпоративная пенсионная программа
•СберКлуб: скидки от партнёров, повышенные бонусы, акции экосистемы, подписка СберПрайм+
