Описание
Мы - команда высококлассных инженеров, которые строят платформу для инференса и SFT opensource LLM. Используем продвинутые cutting edge движки для инференса, много экспериментируем и боремся за каждую дополнительную единицу в Token thoughput. Cейчас мы разрабатываем и оптимизируем инфраструктуру инференса LLM-моделей.
Задачи
•Разрабатывать и оптимизировать инфраструктуру инференса LLM-моделей для минимальной задержки и высокой пропускной способности внутренних приложений и сервисов
•Обеспечивать масштабируемость и надежность LLM-serving инфраструктуры
•Выбирать и настраивать инструменты для инференса (sglang, vLLM, llama.cpp)
•Разрабатывать механизмы разграничения доступов к API-сервисам моделей
•Строить систему observability и мониторинга LLM-инференс
•Собирать модели в сервисы и интерфейсы (FastAPI, Flask, Tornado, Streamlit, Chainlit и т.д.)
Требования
•Опыт в роли devops от 2 лет
•Уверенные знания Linux: сеть, storage, роли/пользователи, менеджмент процессов
•Владение Kubernetes (Istio Service Mesh)
•Опыт построения высокопроизводительных LLM-сервисов (sglang, vLLM)
•Опыт настройки высоконагруженных прокси-серверов (nginx, Envoy, HAProxy): load balancing, rate limiting, SSL termination, health checks
•Владение языками: Bash, Python, Groovy (Jenkins scripted)
•Продвинутые навыки в CI/CD и оркестрации моделей
Будет плюсом:
•Опыт с AI-агентами
•Понимание распределенных систем и GPU-коммуникации (NCCL, MPI, RDMA, InfiniBand)
•Знание служебных компонентов LLM-пайплайна: токенизаторы, KV-cache, контекстное окно
•Понимание внутренней архитектуры GPU (CUDA, cuDNN, Tensor Cores)
•Опыт работы с векторными БД (Opensearch, Qdrant, FAISS, pgvector) для RAG и других задач
Условия
•Гибридный формат работы (2-3 дня в офисе)
•Годовой бонус и ежегодный пересмотр
•Расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
•Корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
•Офис на Кутузовской с зонами отдыха и спортзалом
•Льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм с возможностью совместного использования на трёх близких, скидки от партнеров и сервисов группы компаний
