Локация
Удаленный формат работы; график 5/2, с 09:00 до 18:00 или с 10:00 до 19:00.
Компания
Miractal развивает внутреннюю инфраструктуру для эксплуатации открытых AI-моделей, корпоративных ассистентов и инструментов разработки.
Что делать
•Развертывать и настраивать серверы инференса на GPU-узлах с использованием vLLM, SGLang или аналогов.
•Подбирать параметры производительности: квантизацию, размер батча, длину контекста, распределение моделей и количество реплик.
•Создавать единый защищенный шлюз LiteLLM с корпоративной аутентификацией, квотами, разграничением прав, журналированием и фильтрацией секретов и персональных данных.
•Настраивать мониторинг и оповещения через Prometheus и Grafana, проводить дежурства, разбирать инциденты и выполнять емкостное планирование.
•Организовать безопасное обновление моделей в закрытом контуре с проверкой подписей и контрольных сумм, внутренним реестром и возможностью отката.
•Строить слой извлечения знаний над репозиториями, документацией и трекером задач, включая загрузку документов, разбиение, эмбеддинги, векторное хранилище и инкрементальные обновления.
Требования
•Опыт вывода моделей в промышленную эксплуатацию, включая работу сервиса с пользователями и дежурство.
•Практический опыт с vLLM, SGLang, TensorRT-LLM или аналогами, а также понимание непрерывного батчинга, кэша контекста и квантизации.
•Уверенный Linux, Docker и работа с NVIDIA GPU, драйверами, CUDA, распределением ресурсов и диагностикой.
•Опыт инфраструктуры как кода, автоматизации выкаток, внутренних реестров артефактов, мониторинга и анализа производительности.
•Уверенный Python для автоматизации и работы с библиотеками инференса.
•Готовность работать в закрытом контуре без внешних сервисов, с процедурами переноса и проверкой целостности.
Хорошо, если есть
•Опыт построения слоя извлечения знаний с учетом прав доступа.
•Опыт эксплуатации в регулируемой среде, включая аудит, разграничение доступа и требования к журналированию.
•Понимание экономики GPU-инфраструктуры и выбора между масштабированием реплик и более крупными узлами.
•Знакомство с клиентскими инструментами разработчиков и умение обучать коллег.
Культура и преимущества
•Удаленный формат работы и график 5/2.
•Мощный рабочий ноутбук.
•100% компенсация больничных.
•Скидка на изучение английского языка в Skyeng.
•Конкурентная заработная плата обсуждается по итогам интервью.
