Описание
Команда инференса GigaChat разрабатывает движок, через который проходят ответы модели пользователям. Команда ускоряет работу собственных архитектур и мультимодальных моделей на проде.
Задачи
•Обеспечивать быструю работу новых архитектур GigaChat, включая мультимодальные, на проде
•Ускорять модели с помощью кастомных CUDA-ядер, квантизации, speculative decoding, оптимизаций KV-cache и continuous batching
•Распределять большие модели по GPU и кластеру с помощью тензорного и пайплайн-параллелизма, disaggregated prefill/decode и планирования запросов
•Профилировать работу моделей, находить и устранять задержки в ядре, раскладке памяти, сети и планировщике
•Поддерживать стабильную работу движка под нагрузкой
•Изучать статьи и код vLLM, SGLang и TensorRT-LLM и улучшать собственные решения с учётом архитектур GigaChat
Требования
•Опыт работы в области глубокого обучения, в том числе с LLM
•Глубокое знание CUDA и Python
•Опыт использования GigaChat, Kandinsky и аналогов в продуктах
•Навыки создания и использования AI-агентов
Условия
•Возможность выбрать офисный, гибридный или удалённый формат работы в РФ
•Годовая премия
•Корпоративный спортзал и зоны отдыха
•Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
•Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
•Ипотека для сотрудников по дисконтной программе
•Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнёров
•Вознаграждение за рекомендацию друзей в команду Сбера
