Описание
Разрабатывается инфраструктура для эффективного инференса моделей Kandinsky в популярных фреймворках, а также создаются воркеры для доступа к инференсу моделей на fal.ai и Arena.ai.
Задачи
•Разрабатывать и оптимизировать высоконагруженные пайплайны распределённого инференса на PyTorch с использованием FSDP, Tensor/Sequence Parallelism
•Реализовывать модели в популярных фреймворках: Diffusers, SGLang, vLLM, FastVideo, Comfy-UI и Transformers
•Развёртывать воркеры для инференса моделей
Требования
•Экспертно владеть Python, PyTorch и torch.distributed
•Иметь опыт масштабного инференса моделей с FSDP/TP/PP
•Понимать работу разных типов данных, включая bf16 и fp8
•Иметь опыт работы с SGLang, vLLM и Transformers
•Понимать принципы работы диффузионных моделей
•Английский B2+
Условия
•Ежегодный пересмотр зарплаты и годовая премия
•Корпоративный спортзал и зоны отдыха
•Система обучения для профессионального и карьерного развития
•Расширенный полис ДМС с первого дня работы и страхование для семьи
•Льготная программа ипотеки для сотрудников
•Бесплатная подписка СберПрайм+ и скидки на продукты компаний-партнёров
•Вознаграждение за рекомендацию друзей в команду Сбера
