Описание
Создание нативных омнимодальных архитектур — новых способов кодирования и совместного обучения в доменах изображений, аудио и видео.
Задачи
•Разрабатывать мультимодальные представления и способы кодирования информации в доменах изображений, аудио, видео и текста
•Создавать универсальные энкодеры и общие латентные пространства
•Разрабатывать архитектуры Vision-Language-Action и поток взаимодействия с роботами
•Исследовать омнимодальные модели полного цикла и обучать их на масштабных мультимодальных наборах данных
Требования
•Отлично знать Python
•Иметь опыт работы с PyTorch, bash, git, Docker и dvc
•Глубоко понимать обучение представлениям и мультимодальное обучение
•Иметь опыт работы с моделями для изображений, аудио и видео
•Понимать трансформеры, контрастивное обучение и совместные эмбеддинги
•Уметь быстро разбирать и воспроизводить идеи из научных статей
Будет плюсом
•Опыт с VLA, Embodied AI и робототехникой
•Знание подходов к обучению без учителя и предварительному мультимодальному обучению
•Опыт потоковой обработки видео и аудио
•Публикации, вклад в открытый исходный код или исследовательский опыт
Условия
•Годовая премия
•Корпоративный спортзал и зоны отдыха
•Расширенный ДМС и страхование для семьи
•Ипотека для сотрудников выгоднее на треть от текущей процентной ставки
•Бесплатная подписка СберПрайм+ и скидки на продукты компаний-партнёров
•Вознаграждение за рекомендацию друзей в команду Сбера
