Описание
Команда развивает GigaChat — AI-проект Сбера с флагманскими языковыми моделями. Для обучения моделей используются кластеры H100 и B200; одна из обученных MoE-моделей насчитывает 700 миллиардов параметров.
Задачи
•Развивать архитектуру моделей GigaChat
•Определять приоритетные направления развития архитектуры pretrain-моделей, способы измерения прогресса и ограничения роста качества
•Проектировать архитектуру флагманских моделей и принимать ключевые решения по attention, позиционным схемам, нормализациям, активациям и инициализации
•Развивать MoE-архитектуру: маршрутизацию, балансировку экспертов, устойчивость маршрутизатора и влияние архитектуры на качество и производительность
•Работать с long-context и мультимодальностью на уровне архитектуры
•Изучать и применять законы масштабирования
•Проводить scaling-эксперименты и на их основе выбирать размер модели, ширину и глубину, число и размер экспертов, размер батча и длительность обучения
•Предсказывать поведение архитектурных изменений при переходе от небольших абляций к полному масштабу
•Определять и развивать метрики для оценки архитектурных изменений при обучении моделей
•Определять, какие архитектурные изменения повышают качество по сравнению с базовыми решениями
•Анализировать стабильность архитектурных решений и причины нестабильности на больших прогонах
•Предлагать изменения в нормализациях, клиппинге, точности вычислений и структуре блоков для повышения предсказуемости обучения
•Обеспечивать безопасное масштабирование крупных архитектурных изменений в основном цикле обучения
•Самостоятельно писать и дорабатывать архитектурные компоненты и абляции
•Проводить надёжные и воспроизводимые эксперименты, контролировать версии данных и конфигураций, сравнивать запуски и отслеживать деградации
•Читать статьи, воспроизводить ключевые результаты и адаптировать идеи к задачам и инфраструктуре
•Руководить командой исследователей и инженеров, задавать высокую планку качества решений, скорости работы и глубины проработки
•Помогать команде превращать архитектурные идеи в решения для основного цикла обучения
•Сохранять баланс между глубиной исследований, инженерной надёжностью и практическим результатом для модели
Требования
•Отлично владеть Python и PyTorch
•Глубоко понимать обучение нейросетей и уметь объяснять причины расхождения архитектурных конфигураций по кривым функции потерь, нормам градиентов и энтропии
•Глубоко понимать архитектуру LLM: Transformer, attention (MHA/GQA/MLA), RoPE и варианты позиционных эмбеддингов, нормализации, инициализации, long-context и MoE
•Иметь практический опыт обучения больших моделей и проведения архитектурных абляций
•Уметь самостоятельно вести направление от изучения статей и постановки гипотез до внедрения решений в основной цикл обучения
•Уметь ставить гипотезы, проектировать эксперименты и принимать решения по их результатам
•Иметь опыт руководства технической командой и быть готовым лично писать важные части системы
Условия
•Ежегодный пересмотр зарплаты и годовая премия
•Корпоративный спортзал и зоны отдыха
•Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
•Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
•Ипотека выгоднее до 7% для каждого сотрудника
•Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнёров
•Вознаграждение за рекомендацию друзей в команду Сбера
