Описание
Команда занимается предобучением больших языковых моделей GigaChat: проектирует архитектуру, подбирает рецепт обучения и поддерживает инженерный контур. Модель обучалась на кластерах H100 и B200.
Задачи
•Взять на себя целое направление внутри предобучения и развивать его: от постановки задач и планирования экспериментов до внедрения результатов в основное обучение
•Проектировать и проводить эксперименты: формулировать гипотезы, запускать абляции, сравнивать подходы, разбираться в результатах и превращать выводы в решения для основного обучения
•Разбираться с нестабильностью на больших прогонах: искать причины деградаций, строить диагностические метрики, предлагать изменения в оптимизаторе, расписании скорости обучения, нормализации, инициализации, клиппинге, точности вычислений и маршрутизации
•Работать с архитектурой смеси экспертов (MoE): маршрутизатором, балансировкой нагрузки, переполнением, артефактами маршрутизации и их влиянием на качество и производительность
•Поддерживать большие прогоны и продолжения обучения с контрольных точек: следить за дрейфом, проверять изменения в коде и конфигурации, снижать риск регрессий
•Улучшать инженерное качество контура обучения: проводить ревью критичных изменений, разрабатывать стратегию тестирования, повышать воспроизводимость экспериментов, профилировать и устранять узкие места
Требования
•Глубоко понимать устройство обучения нейросетей и уметь объяснить расхождение прогона по кривым функции потерь, нормам градиентов и энтропии
•Уметь самостоятельно взять направление и довести его до результата: от чтения статей и постановки гипотез до внедрения в основное обучение
•Иметь практический опыт с PyTorch и обучением моделей, а не только инференсом
•Уметь доводить исследовательские идеи до надёжных инженерных решений: обеспечивать воспроизводимость, работать с конфигурациями и тестами, автоматизировать процессы и определять критерии качества
•Владеть хорошей инженерной культурой: аккуратно оформлять запросы на слияние изменений, профилировать, следить за качеством кода и готовить понятные отчёты об экспериментах
•Будет плюсом опыт со смешанной точностью и распределённым обучением, построения систем оценки моделей или инфраструктуры для экспериментов
Условия
•Возможность оформления в аккредитованную IT-компанию
•Годовая премия по итогам работы до 6 окладов
•Регулярный пересмотр зарплат
•Корпоративный спортзал и зоны отдыха
•Более 400 программ СберУниверситета
•Программа адаптации и помощь руководителя на старте
•Доступ к сообществу специалистов по анализу данных и искусственному интеллекту, обмену знаниями, лекциям, мастер-классам, дайджестам, отчётам с конференций и внутренним встречам
•Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
•Ипотека для сотрудников по дисконтной программе
•СберПрайм+ и скидки у партнёров
•Бонус за рекомендации в команду
