Чем занимается команда
•Архитектура и законы масштабирования.
•Рецепт обучения: оптимизаторы, расписание learning rate, нормализация, точность вычислений.
•Устойчивость больших прогонов и ускорение сходимости.
•Диагностика обучения и оценка изменений с опорой на математический аппарат.
•Инженерный контур: воспроизводимость, тесты, CI/CD.
•Роль с акцентом на модель, оптимизацию и инфраструктуру обучения, а не на данные. Главная цель — делать обучение быстрее, надёжнее и предсказуемее.
Какие задачи стоят перед командой
•Ускорение цикла «идея → эксперимент → вывод → внедрение».
•Снижение количества ручных прогонов и неочевидных сбоев, повышение воспроизводимости и прозрачности результатов.
•Повышение надёжности больших прогонов.
•Ранняя диагностика деградаций и отделение реальных улучшений от ложных сигналов.
•Обеспечение безопасного масштабирования при внедрении крупных архитектурных изменений.
•Анализ влияния сложных архитектур на качество, стабильность и скорость обучения.
•Определение и развитие метрик, корректно отражающих изменения в обучении моделей.
Почему мы
•Масштаб — 700B MoE уже обучена, дальше — больше.
•Публикации. Можно и нужно писать статьи по результатам своей работы — это не ограничивается.
•Команда — в России нет другой команды, которая занимается pretrain'ом на таком масштабе.
•Влияние. Вы берёте направление целиком.
Обязанности
•Взять на себя целое направление внутри pretrain'а и развивать его.
•Проектировать и проводить эксперименты.
•Разбираться с нестабильностью на больших прогонах.
•Работать с архитектурой смеси экспертов (MoE).
•Поддерживать большие прогоны и продолжения обучения с чекпоинтов.
•Улучшать инженерное качество контура обучения.
Требования
•Глубокое понимание устройства обучения нейросетей.
•Способность самостоятельно вести направление.
•Практический опыт с PyTorch.
•Умение доводить исследовательские идеи до надёжного инженерного решения.
•Хорошая инженерная культура.
Будет плюсом
•Опыт со смешанной точностью.
•Опыт построения систем оценки моделей.
Условия
•Удалённо.
•Возможность оформления в аккредитованную IT-компанию.
•Годовая премия по итогам работы до 6 окладов.
•Регулярный пересмотр зарплат.
•Корпоративный спортзал.
•Программа адаптации.
•Расширенный ДМС.
•Ипотека для сотрудников по дисконтной программе.
•Бонус за рекомендации в команду.
