Описание
Команда претрейна Alice AI VLM строит мультимодальные базовые модели. Она исследует архитектурные и обучающие решения, масштабирует обучение на больших объёмах данных и развивает способности моделей понимать мир через разные модальности.
Задачи
•Исследовать архитектуры, рецепты и режимы обучения мультимодальных моделей
•Находить подходы, улучшающие базовые способности модели и связь между визуальной и текстовой модальностями
•Оценивать улучшения качества на открытых тестах и в прикладных задачах
•Работать с большими массивами мультимодальных данных из разных доменов
•Определять состав обучающих данных: домены, форматы и пропорции
•Исследовать scaling laws и снижать шум в данных
•Превращать работу с данными в масштабируемый конвейер
•Работать с распределённым обучением
•Профилировать узкие места и следить за эффективностью использования GPU
•Улучшать стабильность запусков и воспроизводимость экспериментов
Требования
•Опыт в CV и NLP, хорошее понимание устройства современных LLM и VLM
•Понимание распределённого обучения больших моделей
•Умение формулировать исследовательские гипотезы и проверять их экспериментально
•Умение аккуратно ставить эксперименты, корректно сравнивать подходы и выделять реальные улучшения
•Умение писать понятный рабочий код и доводить идеи до воспроизводимого результата
Будет плюсом
•Обучение больших моделей или работа с крупными DL-системами
•Опыт с конвейерами предобучения LLM/VLM
•Знакомство с Megatron, DeepSpeed, FSDP, PyTorch Distributed или аналогичными инструментами
Условия
Условий в вакансии нет
