Описание
В Yandex Crowd мы создаём генеративного агента поддержки для продуктов Яндекса и ищем ML-тимлида, который возглавит эту работу. Вы будете отвечать за техническое направление — от выбора архитектуры и исследований до запуска в продакшен. Предстоит выстроить систему улучшения агента на основе реальных диалогов и опыта операторов, сохраняя баланс качества, надёжности, скорости ответа и стоимости. Агент поддержки должен разбираться в обращении не хуже оператора, учитывать историю диалога, находить знания и использовать инструменты сервисов, чтобы помогать пользователю решить проблему.
Задачи
•Определять, как агент управляет контекстом, ищет информацию, вызывает инструменты и решает многошаговые задачи
•Внедрять лучшие подходы по работе с поиском по базе знаний, определением проблемы пользователя, long-term и short-term memory, обеспечивать высокое качество агента при минимальной скорости и стоимости
•Собирать бенчмарки, настраивать среду для симуляции и регрессионные проверки, оценивать результат работы агента по обращению, корректность действий и своевременность передачи диалога человеку
•Сочетать программные проверки, LLM-судей и экспертную оценку, настраивать критерии проверок, мониторить качество в пилотах и на проде
•Превращать отобранные диалоги и исправления операторов в данные для обучения, новые критерии проверок и обновления базы знаний
•Настроить feedback loop для регулярного автоматического улучшения харнесса агента
•Создавать исследовательских агентов, которые анализируют ошибки, предлагают гипотезы и запускают воспроизводимые эксперименты с промптами, поиском, контекстом и моделями, а также доводить лучшие решения до продакшена и контролировать качество после запуска
•Планировать работу, нанимать и развивать сотрудников, помогать решать сложные технические задачи и поддерживать обмен знаниями
•Вместе с продуктовой командой определять приоритеты и участвовать в формировании AI-стратегии Crowd
Требования
•Руководили ML-командой от пяти человек и помогали сотрудникам развиваться
•Запускали ML-модели в продакшен и поддерживали их стабильную работу
•Строили RAG-пайплайны и агентов, глубоко разбираетесь в современном NLP и DL
•Уверенно владеете Python, разбираетесь в MLOps и умеете выстраивать CI/CD для ML
•Проектируете решения целиком, умеете декомпозировать задачи и отвечать за сроки и качество
•Готовы погружаться в продуктовые задачи, делиться знаниями и развивать инженерную культуру
Будет плюсом
•Внедряли Spec-Driven Development в команде, имеете опыт AI-first-разработки
•Обладаете опытом LLMOps, настройки внутреннего инференса для LLM/VLM
Условия
Условий в вакансии нет
