Описание
Центр робототехники Сбера разрабатывает модели, которые помогают роботам понимать окружающий мир, выполнять инструкции и решать задачи в реальных условиях. Команда работает над Vision-Language-Action (VLA) и World Action Models (WAM), объединяя обучение на изображениях, видео, языке и робототехнических данных.
Задачи
•Разрабатывать и обучать VLA/WAM-модели для понимания сцен и инструкций, предсказания динамики окружающего мира и генерации действий робота
•Развивать методы предобучения на изображениях, видео, текстах, демонстрациях и траекториях роботов
•Дообучать и адаптировать модели под новые задачи, объекты, условия и робототехнические платформы
•Исследовать архитектуры, представления действий и функции потерь, включая transformer-, autoregressive- и diffusion/flow matching-подходы
•Формировать смеси обучающих данных и выбирать стратегии семплирования
•Исследовать влияние качества, объёма и состава данных на способности моделей
•Разрабатывать и оптимизировать пайплайны распределённого обучения на GPU-кластерах
•Повышать стабильность обучения, эффективность вычислений и использования памяти
•Проводить воспроизводимые эксперименты и абляционные исследования
•Анализировать динамику обучения и причины ошибок
•Разрабатывать методики оценки моделей
•Измерять качество предсказаний и действий, успешность выполнения задач, устойчивость и перенос на новые условия
•Интегрировать модели в контур управления совместно с командами робототехники и инфраструктуры
•Проверять модели на реальных роботах
•Формировать рекомендации по сбору дополнительных данных и улучшению обучающих выборок на основе результатов экспериментов и испытаний
Требования
•Опыт разработки и обучения современных DL-моделей в computer vision, video understanding/generation, multimodal learning, LLM/VLM или robot learning
•Уверенное владение Python и PyTorch
•Хорошее понимание современных нейросетевых архитектур, особенно transformers, методов оптимизации и принципов обучения на последовательностях
•Практический опыт предобучения или дообучения моделей: подготовка данных, выбор функций потерь, настройка обучения, оценка качества и анализ ошибок
•Опыт работы с большими датасетами и эффективными пайплайнами загрузки и обработки данных
•Опыт обучения моделей на нескольких GPU и понимание принципов распределённого обучения
•Умение формулировать исследовательские гипотезы, планировать эксперименты и делать обоснованные выводы
•Умение писать поддерживаемый и воспроизводимый код, работать с Git и инструментами отслеживания экспериментов
•Способность читать научные статьи и реализовывать перспективные подходы
•Самостоятельность и готовность доводить исследовательскую идею до работающей модели совместно со смежными командами
Будет плюсом опыт работы с VLA, world models, action-conditioned video models, embodied AI, imitation learning, behavior cloning, diffusion policies, diffusion, flow matching, мультимодальным и self-supervised обучением, reinforcement learning, offline RL, FSDP, DeepSpeed, Megatron, scaling laws, реальными роботами, генеративными AI-моделями, AI-агентами, GigaChat, Kandinsky, а также наличие публикаций, открытых проектов или воспроизводимых исследовательских результатов.
Условия
•Ежегодный пересмотр зарплаты, квартальная и годовая премия
•Корпоративный спортзал и зоны отдыха
•Более 400 образовательных программ СберУниверситета
•Программа адаптации и помощь руководителя на старте
•Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
•Льготный дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
•Подписка Прайм с возможностью совместного использования на трёх близких
•Вознаграждение за рекомендацию друзей в команду Сбера
