О позиции
Мы ищем опытного Middle AI Infrastructure Engineer, который возьмёт на себя масштабирование и поддержку высокопроизводительной LLM-инфраструктуры.
Фундамент инфраструктуры уже положен. Вашей задачей будет его развитие и улучшение под растущие нагрузки.
Обязанности
•Обеспечить надёжность LLM-сервинга в проде: стабильная работа инференса (vLLM/SGLang) под highload нагрузками, обновления без даунтайма, планирование мощностей под растущую нагрузку.
•Развитие шлюзового слоя: роутинг запросов между моделями на разных серверах, rate limits, балансировка, наблюдаемость.
•Оптимизация производительности: настройка работы инференс-сервисов (vLLM, SGLang), оптимизация распределения ресурсов между GPU нодами, оптимизация параметров инференса моделей в зависимости от типа ожидаемых нагрузок.
•Мониторинг и стабильность: внедрение глубокого мониторинга метрик GPU (память, ядра, температура) и производительности моделей.
•Сопровождение: оперативное решение инцидентов и обеспечение высокой доступности сервисов.
Требования
•Опыт работы в DevOps/SRE или системной инженерии от 3 лет.
•Практический опыт с LLM-сервингом (любым из: vLLM, SGLang, TGI, Triton). Понимание конфигурирования движков под разные типы нагрузок, плюсы и минусы различных конфигураций (high throughput, low latency).
•Глубокие знания Linux, контейнеризации (Docker) и оркестрации (Kubernetes).
•Опыт работы с GPU-инфраструктурой (NVIDIA drivers, Docker с доступом до GPU, CUDA).
•Навыки программирования на Python или Go (для автоматизации задач).
•Опыт работы с инструментами мониторинга (Prometheus, Grafana).
•Понимание того, как работают нейросети на системном уровне.
Будет преимуществом
•Практический опыт запуска модели на нескольких GPU в рамках одного/нескольких серверов (Data/Tensor параллелизм).
•Опыт работы с шлюзами LLM сервинга вроде LiteLLM.
•Английский язык для чтения документации.
Стек
vLLM и SGLang на GPU, LiteLLM + Shepherd Model Gateway, OpenWebUI, Kubernetes.
Условия
•Комфортный современный офис — м. Кутузовская.
•Ежегодный пересмотр зарплаты, годовой бонус.
•Корпоративный спортзал и зоны отдыха.
•Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
•Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
•Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ.
•Подписка Прайм с возможностью совместного использования на трёх близких.
•Вознаграждение за рекомендацию друзей в команду Сбера.
•Корпоративная пенсионная программа.
