Описание
Описания нет
Задачи
•Эксплуатировать и масштабировать стек обслуживания: vLLM, LiteLLM как шлюз, и др. Nginx, авторизация по bearer-токену для каждого сервиса.
•Проводить нагрузочные тесты на разных GPU и моделях при разной конкурентности и длине контекста и превращать результаты в решения по аппаратному обеспечению и моделям.
•Размещать несколько сервисов на ограниченных GPU: квантизация, sleep mode в vLLM и загрузка по требованию, совместное размещение STT/TTS, сервисов эмбеддингов и других моделей/сервисов.
•Строить мониторинг, алертинг и наблюдаемость LLM (Prometheus/Grafana, Langfuse), а также отчёты по использованию и затратам по командам.
•Автоматизировать деплой: CI/CD в GitLab, версионированные Docker-образы, воспроизводимые окружения с учётом корпоративной TLS-инспекции.
•Отвечать за бэкапы, защиту и контроль доступа на GPU-серверах.
•Другие задачи, связанные с ML.
Требования
•От 3 лет в DevOps, SRE или MLOps; минимум 1 год обслуживания LLM или других GPU-моделей в продакшне.
•Глубокий практический опыт с vLLM, TGI, SGLang или TensorRT-LLM; понимание KV-кэша, батчинга, tensor parallelism и квантизации (AWQ, GPTQ, FP8).
•Уверенные Linux, Docker, драйверы NVIDIA/CUDA, Nginx, сети и TLS.
•Нагрузочное тестирование и анализ производительности: пропускная способность, TTFT, перцентили задержки.
•Скрипты на Python и Bash; GitLab CI или аналоги.
Будет плюсом:
•Kubernetes с NVIDIA GPU Operator или Ray Serve.
•Опыт совмещения собственных и арендованных облачных GPU.
•Пайплайны дообучения (LoRA) и реестры моделей.
Условия
•Оформление трудовых отношений в соответствии с действующим законодательством.
•Добровольная медицинская страховка или абонемент в фитнес-клуб Чехов.
•27 календарных дней оплачиваемого отпуска в год.
•Возможности для обучения и развития сотрудников, корпоративные тренинги.
•Служебная сотовая связь.
