О компании
Avenga — международная инженерная компания, помогающая бизнесу работать с искусственным интеллектом в основе. С более чем 6000 экспертами по всему миру Avenga объединяет инженерную экспертизу с мышлением, ориентированным на ИИ, чтобы превращать амбициозные идеи в реальное воздействие в различных отраслях, технологиях и рынках.
В основе роли
Мы ищем опытного инженера платформы для создания и управления средами, в которых работает наш ИИ. Вы будете настраивать локальные и облачные платформы LLM, развертывать и обслуживать модели с открытыми весами, оптимизировать их для эффективной работы на GPU и администрировать платформу по мере её роста.
Ваша платформа будет обеспечивать работу инженерных и бизнес-кейсов, ориентированных на ИИ, в рамках клиентских проектов. Вы будете работать непосредственно с GPU-инфраструктурой и современными стеками инференса, с возможностью изучать новые модели, движки инференса и оборудование по мере развития области.
Основные навыки, которые вы принесёте
•Более 5 лет опыта в инженерии платформ, DevOps, инфраструктуре или инфраструктуре машинного обучения.
•Практический опыт развертывания и обслуживания моделей с открытыми весами (например, Llama, Qwen, Mistral, Gemma) с использованием движков инференса, таких как vLLM, SGLang, Ollama/llama.cpp.
•Практические знания оптимизации инференса, таких как квантизация, пакетирование и развертывание на нескольких GPU, а также подбор моделей под доступное оборудование.
•Опыт работы с GPU-инфраструктурой — драйверами NVIDIA и CUDA, планированием задач на GPU в Kubernetes и мониторингом использования GPU.
•Опыт работы с локальной инфраструктурой и как минимум одним облачным провайдером (AWS, GCP или Azure), включая их GPU и AI-сервисы.
•Сильные навыки работы с Docker и Kubernetes, а также инфраструктурой как кодом (Terraform/OpenTofu).
•Практический опыт работы как минимум с одним современным инструментом для кодирования на базе ИИ, таким как Claude Code, Codex, Cursor или GitHub Copilot.
•Свободное владение английским языком.
Желательные навыки
•Шлюзы и маршрутизация LLM (например, LiteLLM) и наблюдаемость LLM.
Влияние, которое вы создадите
•Проектировать и создавать локальные и облачные среды для размещения LLM.
•Развёртывать, обслуживать и масштабировать модели с открытыми весами через стандартные API (например, совместимые с OpenAI эндпоинты).
•Оптимизировать модели и конфигурацию обслуживания для пропускной способности, задержек и стоимости GPU, а также проводить бенчмаркинг результатов.
•Администрировать платформу: обновления, планирование ёмкости, контроль доступа, квоты и каталог моделей.
•Мониторить производительность, использование GPU, использование и затраты.
•Оценивать новые модели, движки инференса и оборудование, рекомендовать, что внедрять.
•Обеспечивать безопасность среды, включая изоляцию данных клиентов и контроль доступа.
•Поддерживать инженерные команды и ИИ-агентов, использующих платформу.
