Локация
Ташкент, улица Муминова, 4/4; работа на месте работодателя.
Компания
UNITEL LLC.
Что делать
•Эксплуатировать и масштабировать стек обслуживания LLM: vLLM, LiteLLM в роли шлюза, Nginx и авторизацию по bearer-токену для каждого сервиса.
•Проводить нагрузочные тесты на разных GPU и моделях при различной конкурентности и длине контекста, превращая результаты в решения по аппаратному обеспечению и моделям.
•Размещать несколько сервисов на ограниченных GPU с использованием квантизации, sleep mode в vLLM, загрузки по требованию и совместного размещения STT/TTS, эмбеддингов и других моделей.
•Строить мониторинг, алертинг и наблюдаемость LLM с Prometheus, Grafana и Langfuse, а также отчёты по использованию и затратам команд.
•Автоматизировать деплой через GitLab CI/CD, версионированные Docker-образы и воспроизводимые окружения с учётом корпоративной TLS-инспекции.
•Отвечать за бэкапы, защиту и контроль доступа на GPU-серверах и выполнять другие задачи, связанные с ML.
Требования
•От 3 лет опыта в DevOps, SRE или MLOps и минимум 1 год обслуживания LLM или других GPU-моделей в продакшне.
•Глубокий практический опыт с vLLM, TGI, SGLang или TensorRT-LLM; понимание KV-кэша, батчинга, tensor parallelism и квантизации AWQ, GPTQ или FP8.
•Уверенное владение Linux, Docker, драйверами NVIDIA/CUDA, Nginx, сетями и TLS.
•Опыт нагрузочного тестирования и анализа производительности: пропускной способности, TTFT и перцентилей задержки.
•Навыки написания скриптов на Python и Bash.
•Опыт работы с GitLab CI или аналогами.
Хорошо, если есть
•Kubernetes с NVIDIA GPU Operator или Ray Serve.
•Опыт совмещения собственных и арендованных облачных GPU.
•Опыт работы с пайплайнами дообучения LoRA и реестрами моделей.
Культура и преимущества
•Оформление трудовых отношений в соответствии с действующим законодательством.
•Добровольная медицинская страховка или абонемент в фитнес-клуб Чехов.
•27 календарных дней оплачиваемого отпуска в год.
•Возможности для обучения и развития, включая корпоративные тренинги.
•Служебная сотовая связь.
