Руководитель направления Pretrain Efficiency
Обязанности
Развивать направление RL Efficiency целиком
— Определять, как должно развиваться направление эффективности RL: какие места критичны на данный момент, как измерять прогресс и что в первую очередь ограничивает скорость экспериментов.
— Вести направление целиком: от постановки гипотез и плана работ до внедрения результатов в регулярный цикл обучения.
— Принимать решения о приоритетах между ускорением rollout, оптимизацией обучающего цикла, инфраструктурой и системой оценки качества.
Ускорять цикл online RL
— Оптимизировать пайплайн online RL: генерация rollout'ов, сбор reward-сигналов, обновление весов модели, overlap этапов.
— Выстраивать эффективное взаимодействие между обучающим контуром и инференс-движком (vLLM / SGLang / собственные решения), добиваясь высокой утилизации и низкой задержки.
— Работать с весами и KV-cache: быстрое обновление весов между итерациями, снижение overhead синхронизаций, оптимизация памяти.
— Повышать стабильность больших RL-прогонов: контроль деградаций, автоматическое восстановление, диагностика сбоев.
Развивать инфраструктуру под RL-эксперименты
— Развивать фреймворк обучения, поддерживающий RLHF / RLVR / PPO / GRPO / DPO и их вариации на масштабе.
— Делать так, чтобы новые RL-рецепты можно было быстро и безопасно запускать на больших моделях без ручной поддержки для каждого эксперимента.
— Обеспечивать воспроизводимость RL-экспериментов: версионирование данных, конфигов, чекпоинтов, reward-моделей.
Писать ключевой код и оставаться сильным инженером
— Самостоятельно писать и дорабатывать критичные части RL-пайплайна.
— Профилировать обучение на всех уровнях стека и находить узкие места в rollout, обучении и коммуникациях.
— Оставаться сильным инженером и исследователем, а не только руководителем: при необходимости самому разбирать узкие места в коде, экспериментах и взаимодействии с hardware.
Руководить сильной технической командой
— Руководить командой инженеров по эффективности RL, задавать высокую планку по качеству решений и перфу.
— Помогать команде превращать исследовательские идеи в работающие решения, которые можно встроить в основной цикл RL-обучения.
— Удерживать баланс между глубиной оптимизаций, инженерной надёжностью и практическим результатом для модели.
Требования
— Отличное владение Python и PyTorch (DDP/FSDP, distributed training).
— Практический опыт с обучением LLM и понимание механики RL post-training: RLHF, RLVR, PPO / GRPO / DPO.
— Опыт оптимизации обучения и инференса LLM: профилирование, узкие места, параллелизм, mixed precision.
— Понимание архитектуры LLM: Transformer, attention (MHA/GQA/MLA), MoE и их влияние на rollout.
— Способность самостоятельно взять направление и довести его до результата: от постановки задач до внедрения в продакшн-RL.
— Опыт руководства сильной технической командой и готовность лично писать важные части системы руками.
Будет плюсом
— Опыт работы с современными RL-стэками: verl, TRL или собственные решения.
— Опыт работы с large-scale inference (vLLM, SGLang, TRT-LLM) и оптимизацией генерации.
— Опыт написания CUDA / Triton ядер и понимание особенностей NVIDIA GPU.
— Понимание коммуникационного стека больших обучений: NCCL, NVSHMEM, RDMA/IB.
— Опыт работы с кластерными системами: Slurm, Kubernetes, Ray или собственные оркестраторы.
— Публикации, open-source вклад или сильный прикладной research track record.
Условия
— Сильные и сложные задачи на переднем крае развития русскоязычных LLM.
— Большую степень влияния на архитектуру решений, методы обучения и качество итоговой модели.
— Команду сильных инженеров и исследователей.
— Возможность совмещать управление направлением с глубокой технической работой.
— Конкурентную компенсацию, премии и расширенный соцпакет.
