Описание
Мы создаём инфраструктуру для обучения и дообучения больших языковых (LLM) и визуально-языковых (VLM) моделей. Эти модели используют в Алисе, Поиске, Рекламе и других сервисах Яндекса. Для обучения таких моделей нужны десятки тысяч серверов, миллионы вычислительных ядер и многоуровневые соединения между ними. Наша задача — сделать систему максимально эффективной: рационально использовать вычислительные ресурсы и снизить риски сбоев.
Задачи
•Улучшать ключевые компоненты: оптимизировать доставку и сохранение данных, а также коммуникации между блоками обучения; повышать эффективность работы внутри блоков.
•Создавать и улучшать инструменты, чтобы быстро находить и решать инфраструктурные проблемы.
•Реализовывать подходы, которые сделают инфраструктуру обучения устойчивой к разным ошибкам и сбоям.
•Изучать новейшие подходы к организации инфраструктуры RL-обучения, оценивать, насколько они эффективны, и внедрять их в реальные проекты.
Требования
•Знаете Python и работали в системном программировании, разработке библиотек или фреймворков.
•Умеете работать с фреймворком PyTorch и распределённым обучением через torch.distributed.
•Владеете подходами параллелизации: понимаете Data Parallelism, Tensor Parallelism, Pipeline Parallelism, Expert Parallelism для распределённого инференса или обучения.
•Интересуетесь LLM и MLOps: понимаете задачи и вызовы, которые связаны с эксплуатацией больших моделей в продакшене.
•Можете эффективно работать в команде и делиться знаниями.
Будет плюсом
•Участвовали в создании инфраструктуры обучения ML-моделей.
•Внедряли и оптимизировали RL-решения.
•Использовали библиотеки RL-обучения для LLM (veRL, slime, NeMo-RL, SkyRL) и библиотеки инференса (vLLM, SGLang и TRT-LLM).
•Работали с GPU NVIDIA: понимаете архитектуру GPU, разрабатывали или оптимизировали алгоритмы с использованием CUDA или Triton.
•Владеете C++ и работали с низкоуровневым программированием и оптимизацией.
Условия
Условий в вакансии нет.
