Описание
Команда развивает GigaChat — проект больших языковых моделей. Она обучила MoE-модель на 700 миллиардов параметров; обучение проходит на кластерах H100 и B200.
Задачи
•Развивать архитектуру моделей GigaChat и определять приоритеты развития pretrain-моделей
•Проектировать архитектуру флагманских моделей и принимать ключевые архитектурные решения
•Развивать MoE-архитектуру, включая маршрутизацию и балансировку экспертов
•Работать с long-context и мультимодальностью на уровне архитектуры
•Проводить scaling-эксперименты и принимать решения о параметрах обучения моделей
•Предсказывать поведение архитектурных изменений при переходе от небольших абляций к полному масштабу
•Определять и развивать метрики архитектурных изменений
•Оценивать влияние архитектурных изменений на качество модели относительно baseline
•Анализировать архитектурные причины нестабильности больших запусков
•Предлагать изменения, повышающие предсказуемость обучения
•Обеспечивать безопасное масштабирование крупных архитектурных изменений в основном обучении
•Самостоятельно писать и дорабатывать архитектурные компоненты и абляции
•Проводить надёжные и воспроизводимые эксперименты
•Читать статьи, воспроизводить результаты и адаптировать идеи под задачи и инфраструктуру
•Разбирать узкие места в коде, экспериментах и настройках обучения
•Руководить командой исследователей и инженеров, задавать стандарты качества и скорости работы
•Помогать команде превращать архитектурные идеи в решения для основного цикла обучения
•Балансировать глубину исследований, инженерную надёжность и практический результат для модели
Требования
•Отличное владение Python и PyTorch
•Глубокое понимание обучения нейросетей и причин нестабильности архитектурных конфигураций
•Глубокое понимание архитектуры LLM: Transformer, attention, RoPE, позиционных эмбеддингов, нормализаций, инициализации, long-context и MoE
•Практический опыт обучения больших моделей и проведения архитектурных абляций
•Умение самостоятельно вести направление от изучения статей и постановки гипотез до внедрения в основной цикл обучения
•Умение проектировать эксперименты и принимать решения по их результатам
•Опыт руководства технической командой и готовность самостоятельно писать важные части системы
Будет плюсом: опыт работы с MoE-архитектурами, scaling-экспериментами и законами масштабирования, long-context и мультимодальными расширениями LLM, distributed training и large-scale инференсом, публикации, вклад в open-source, сильный прикладной исследовательский опыт и знание современных стеков обучения больших языковых моделей.
Условия
•Конкурентная компенсация, премии и расширенный социальный пакет
•Сильные и сложные задачи на переднем крае развития русскоязычных LLM
•Возможность влиять на архитектуру, методы обучения и качество модели
•Команда сильных инженеров и исследователей
•Возможность совмещать руководство направлением с глубокой технической работой
