Задачи
•Проектировать и поддерживать GPU-кластер инференса для десятков тысяч пользователей: масштабировать его, балансировать и приоритизировать запросы, настраивать пользовательские лимиты
•Оптимизировать производительность с помощью кэширования и пакетной обработки
•Обеспечивать SLA и предотвращать регрессии
•Оценивать и внедрять новые LLM
•Разрабатывать ИИ-сервисы: AI Code Assistant, AI Chat и AI Code Review
•Проектировать пайплайны автоматизации: вызов инструментов и функций, обработку ошибок, управление контекстом и состоянием
•Встраивать ИИ-сервисы в корпоративную среду, интегрируя их с API, базами данных и устаревшими системами
•Проводить эксперименты, создавать MVP и выстраивать путь доработки решений до промышленной эксплуатации
•Исследовать новые технологии и подходы для улучшения продуктов
Требования
•Опыт разработки на Python от 5 лет
•Знание стандартов Python, включая типизацию, асинхронность и шаблоны проектирования
•Опыт создания высоконагруженных API на FastAPI или аналогах
•Опыт работы с очередями, исполнителями и фоновыми задачами
•Опыт построения шлюзов и маршрутизаторов, управления ключами, маршрутизацией и пользовательскими лимитами
•Опыт поддержки высоконагруженных сервисов в промышленной эксплуатации, обеспечения стабильности контрактов и обработки ошибок
•Глубокое знание инструментов инференса, включая vLLM, SGLang и OpenAI API, и понимание их внутренней работы
•Опыт настройки инференса под высокую нагрузку: задержки, пропускная способность и управление ресурсами GPU
•Опыт построения решений с вызовом инструментов и функций, включая MCP и защитные механизмы, и борьбы с галлюцинациями
Условия
•График 5/2
