Описание
Исследуются и внедряются методы инструктивного редактирования изображений и видео, интеграции аудио в генерацию видео и повышения качества с помощью RLHF.
Задачи
•Разрабатывать и обучать диффузионные модели для инструктивного редактирования видео и изображений
•Исследовать архитектуры для совместной генерации видео и синхронизированного аудио по текстовому запросу
•Создавать конвейер RLHF для тонкой настройки моделей
•Обучать мультимодальные модели вознаграждения для видео, аудио и текста
•Интегрировать алгоритмы RL (PPO, DPO, GRPO, OPD) в конвейер диффузионных моделей
•Проектировать эксперименты и анализировать результаты
•Тесно сотрудничать с инженерами распределённых систем для эффективной реализации идей
Требования
•Сильная база в компьютерном зрении, генеративных моделях и мультимодальном машинном обучении
•Опыт работы с диффузионными моделями и Diffusers
•Практические знания обучения с подкреплением, особенно RLHF
•Уверенное владение PyTorch и навыки распределённого обучения (DDP/FSDP)
•Умение быстро создавать прототипы и исследовать современные методы
•Опыт работы с SGLang, vLLM и Transformers
Будет плюсом: опыт генерации аудио и публикации на NeurIPS, ICML или CVPR
Условия
•Комфортный современный офис рядом с метро «Кутузовская»
•Ежегодный пересмотр зарплаты и годовая премия
•Корпоративный спортзал и зоны отдыха
•Система обучения для профессионального и карьерного развития
•Расширенный полис ДМС с первого дня работы и страхование для семьи
•Льготная программа ипотеки для сотрудников
•Бесплатная подписка СберПрайм+ и скидки на продукты компаний-партнёров
•Вознаграждение за рекомендацию друзей в команду Сбера
