Описание
Команда обучает базовые LLM и внедряет их в бизнес-сценарии Авито. Она адаптирует модели с открытым исходным кодом под русский язык и доменную специфику, исследует методы обучения и развивает пайплайн для претрейна, дообучения и ускорения инференса, а также LLM Gateway.
Задачи
•Отвечать за GPU-инфраструктуру для LLM — от оборудования до утилизации
•Определять и реализовывать стратегию развития инференса LLM
•Оптимизировать инференс LLM
•Определять стратегию использования внешних LLM-провайдеров и развивать LLM Gateway
•Развивать платформы оценки качества, RAG и LLM Gateway
•Быть надёжным партнёром для DS UL
•Работать с ключевыми метриками: стоимость токена относительно размера модели, утилизация, SLA, удовлетворённость пользователей LLM Gateway и экономические показатели LLM
Требования
•Экспертиза в GPU
•Опыт работы с DS в области LLM и оптимизации инференса
•Понимание работы LLM, связанной инфраструктуры и оценки качества моделей
•Опыт оптимизации инференса LLM
•Опыт управления несколькими командами, системный подход к менеджменту и работа через лидов и цели
•Опыт ведения проектов для стейкхолдеров уровня кластер-лидов и CEO
•Умение объяснять сложные технические темы понятным языком
•Понимание задач DS и умение договариваться с командами
•Умение оценивать ситуацию и решать проблемы до того, как они повлияют на результат
Условия
•Размер зарплаты обсудят на собеседовании
•Прозрачная система премий
•Бюджет на обучение, книги, курсы и конференции
•ДМС со стоматологией с первого дня, приём терапевта и массажиста в офисе
•Мощное оборудование и дополнительные мониторы
•Проект с многомиллионной аудиторией
