Описание
Команда разрабатывает Vision-Language-Action-модели для управления роботами и обучения их выполнению манипуляционных задач по текстовым инструкциям, используя изображения с камер и данные о состоянии робота. Она занимается претрейном, разрабатывает архитектуры и методы обучения, работает с данными разных робототехнических платформ и масштабирует обучение.
Задачи
•Разрабатывать и обучать VLA-модели для манипуляционных задач
•Экспериментировать с архитектурами, представлениями наблюдений и действий, функциями потерь и методами объединения модальностей
•Улучшать перенос навыков на новые объекты, условия и робототехнические платформы
•Формировать смеси робототехнических и мультимодальных датасетов, настраивать семплирование и согласовывать данные роботов с разными сенсорами и пространствами действий
•Оценивать влияние качества, объёма и состава данных на способности моделей и улучшать обучающие выборки
•Автоматизировать проверку и очистку данных перед обучением: выявлять рассинхронизацию видео, состояний и действий, пропуски, зависания кадров и аномалии в траекториях
•Развивать инструменты визуального разбора эпизодов и формировать отчёты о качестве
•Настраивать исправление, фильтрацию и маскирование проблемных фрагментов, проверять ложные срабатывания и оценивать влияние очистки данных на качество моделей
•Развивать распределённое обучение на нескольких GPU и узлах, повышать стабильность длительных запусков и эффективность использования ресурсов
•Профилировать обучение и устранять узкие места в вычислениях, коммуникациях и загрузке данных
•Формулировать и проверять исследовательские гипотезы, воспроизводить подходы из статей и проводить абляционные эксперименты
•Проверять модели на реальных роботах вместе с командой робототехники, анализировать ошибки и использовать результаты для улучшения претрейна
Требования
•Опыт разработки и обучения трансформерных или генеративных моделей в мультимодальном обучении, Computer Vision, NLP, генерации видео или Robot Learning
•Хорошее понимание глубинного обучения, устройства трансформеров и методов оптимизации; умение разбираться в причинах нестабильного обучения и ухудшения качества моделей
•Уверенное владение Python и PyTorch или JAX, умение писать поддерживаемый обучающий код и разбираться в существующем
•Опыт распределённого обучения с FSDP, DeepSpeed или аналогичными инструментами; понимание параллелизма данных и шардинга, умение диагностировать проблемы производительности, потребления памяти и стабильности запусков
•Опыт работы с большими датасетами и пайплайнами их подготовки; понимание влияния качества данных, семплирования и организации загрузки на обучение
•Умение самостоятельно ставить эксперименты, выбирать метрики, обеспечивать воспроизводимость результатов и аргументировать технические решения
Будет плюсом
•Опыт работы с VLA, Imitation Learning или Behavior Cloning
•Обучение политик на данных разных робототехнических платформ
•Обучение диффузионных или flow-matching-моделей и генеративных моделей изображений и видео
•Оптимизация многоузлового обучения
•Разработка пайплайнов контроля качества данных
•Внедрение обученных политик на реальных роботах
•Исследовательские публикации, участие в опенсорс-проектах или собственные проекты с воспроизводимыми результатами
Условия
Условий в вакансии нет
