# Описание
Команда платформы данных создаёт технологическую основу для команд, работающих с данными, обеспечивая хранение, обслуживание, версионирование и оркестрацию больших объёмов данных.
Задачи
•Проектировать и развивать масштабные системы хранения данных, оптимизированные под паттерны доступа в претрейне LLM
•Развивать платформу версионирования и отслеживания происхождения данных для воспроизводимости и аудита жизненного цикла датасетов
•Создавать и совершенствовать системы оркестрации рабочих процессов для многоэтапных конвейеров данных на тысячах узлов
•Оптимизировать инфраструктуру подачи данных на GPU-кластеры
•Развивать внутренние инструменты, SDK и API для работы исследователей и инженеров данных с платформой
•Реализовывать контроль доступа, шифрование и аудит действий при работе с чувствительными и лицензированными наборами данных
•Отвечать за планирование мощностей, оптимизацию затрат и проверку производительности облачной и локальной инфраструктуры хранения
•Формировать технические стандарты платформенной команды: архитектурные подходы, требования к надёжности, эксплуатационные практики, проверку кода и инженерную документацию
•Наставлять инженеров, развивать технические навыки команды и распространять экспертизу по платформенной архитектуре и надёжной эксплуатации систем
Требования
•Высшее образование в области компьютерных наук, системной инженерии или смежной области
•Не менее 6 лет опыта в инфраструктурной или платформенной инженерии, включая серьёзный опыт создания распределённых систем с интенсивной обработкой данных
•Экспертное знание облачной инфраструктуры, объектного хранения, оркестрации вычислений и сетевых подсистем
•Уверенное владение как минимум двумя языками из списка: Python, Rust, C++
•Глубокий опыт работы с Kubernetes, инфраструктурой как кодом и конвейерами CI/CD
•Подтверждённый опыт проектирования высокодоступных, отказоустойчивых и горизонтально масштабируемых систем
•Опыт работы с промышленными форматами хранения и сериализации данных и понимание компромиссов при их эксплуатации
•Умение выступать техническим лидером команды, принимать архитектурные решения, согласовывать платформенные подходы между командами и развивать коллег
•Опыт наставничества и формирования сильных инженерных практик в команде
Будет плюсом:
•Опыт работы с YTSaurus
•Поддержка нагрузок обучения ML, особенно претрейна на крупных GPU-кластерах
•Знакомство с инструментами оркестрации конвейеров данных в промышленном масштабе
•Опыт создания внутренних платформ разработки и инструментов самообслуживания для инженерных команд
Условия
•Кластеры YTSaurus с десятками петабайт ресурсов и десятками тысяч ядер
•Сильная команда выпускников МФТИ, ВШЭ и МГУ; многие имеют опыт работы в профильном БигТехе
•Комфортный современный офис рядом с метро «Кутузовская»
•Гибридный график: 2 дня в офисе, 3 дня на удалёнке
•Ежегодный пересмотр зарплаты и годовая премия
•Корпоративный спортзал и зоны отдыха
•Обучение для профессионального и карьерного развития
•Расширенный полис ДМС с первого дня работы и страхование для семьи
•Льготная программа ипотеки для сотрудников
•Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнёров
•Вознаграждение за рекомендацию друзей в команду Сбера
