Локация
Москва, офисный и гибридный формат работы
Компания
Yandex развивает Vision-Language-Action-модели для управления гуманоидными роботами и выполнения манипуляционных задач по текстовым инструкциям.
Что делать
•Разрабатывать и обучать VLA-модели, экспериментировать с архитектурами, представлениями наблюдений и действий, функциями потерь и объединением модальностей.
•Формировать смеси робототехнических и мультимодальных датасетов, настраивать семплирование и улучшать обучающие выборки.
•Создавать пайплайны контроля качества данных: находить рассинхронизацию, пропуски, зависания кадров и аномалии в траекториях.
•Масштабировать распределённое обучение на нескольких GPU и узлах, профилировать вычисления, коммуникации и загрузку данных.
•Проводить исследовательские эксперименты, абляции и воспроизведение подходов из научных статей.
•Проверять модели на реальных роботах, анализировать ошибки и доводить успешные решения до основных обучающих запусков.
Требования
•От 3 лет опыта разработки и обучения трансформерных или генеративных моделей в мультимодальном обучении, Computer Vision, NLP, генерации видео или Robot Learning.
•Глубокое понимание обучения нейронных сетей, трансформеров, методов оптимизации и причин нестабильного обучения.
•Уверенное программирование на Python и опыт работы с PyTorch или JAX.
•Опыт распределённого обучения с FSDP, DeepSpeed или аналогичными инструментами, включая параллелизм данных и шардинг.
•Опыт работы с большими датасетами, пайплайнами подготовки данных, метриками и воспроизводимыми экспериментами.
Хорошо, если есть
•Опыт работы с VLA, Imitation Learning, Behavior Cloning или политиками для разных робототехнических платформ.
•Опыт обучения диффузионных и flow-matching-моделей, а также генеративных моделей изображений и видео.
•Опыт оптимизации многоузлового обучения, mixed precision, activation checkpointing и восстановления состояния обучения.
•Опыт разработки инструментов визуализации, поиска аномалий и внедрения политик на реальных роботах.
•Исследовательские публикации, участие в open-source-проектах или собственные проекты с воспроизводимыми результатами.
Культура и преимущества
•Работа в команде претрейна VLA-моделей и совместная работа с инфраструктурной командой и специалистами по робототехнике.
•Доступ к задачам, связанным с данными разных робототехнических платформ и реальными роботами.
•Возможность развивать исследовательские методы и внедрять их в основные обучающие процессы.
