Локация
Москва, офис работодателя; офис расположен у м. Кутузовская
Компания
СБЕР развивает высокопроизводительную инфраструктуру для сервинга больших языковых моделей.
Что делать
•Обеспечивать надёжную работу LLM-инференса в production на высоких нагрузках, включая обновления без простоя и планирование мощностей.
•Развивать шлюзовой слой: маршрутизацию запросов между моделями и серверами, rate limits, балансировку и наблюдаемость.
•Оптимизировать vLLM и SGLang, распределение ресурсов между GPU-нодами и параметры инференса под разные типы нагрузок.
•Внедрять мониторинг GPU-метрик и производительности моделей.
•Оперативно решать инциденты и обеспечивать высокую доступность сервисов.
Требования
•От 3 лет опыта в DevOps/SRE или системной инженерии.
•Практический опыт с LLM-сервингом: vLLM, SGLang, TGI или Triton; понимание конфигурирования движков под high throughput и low latency.
•Глубокие знания Linux, Docker и Kubernetes.
•Опыт работы с GPU-инфраструктурой: драйверы NVIDIA, Docker с доступом к GPU и CUDA.
•Навыки программирования на Python или Go для автоматизации задач.
•Опыт работы с Prometheus и Grafana.
•Понимание работы нейросетей на системном уровне.
Хорошо, если есть
•Практический опыт запуска моделей на нескольких GPU в рамках одного или нескольких серверов, включая data и tensor parallelism.
•Опыт работы со шлюзами LLM-сервинга, например LiteLLM.
•Английский язык для чтения документации.
Культура и преимущества
•Современный офис, корпоративный спортзал и зоны отдыха.
•Ежегодный пересмотр зарплаты и годовой бонус.
•Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
•Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
•Льготные условия ипотечного кредитования, подписка Прайм и вознаграждение за рекомендации.
