Описание
Команда строит процессы и инфраструктуру, которые влияют на портфель enterprise-рекламодателей объёмом около 50 млрд рублей в квартал. Инструментами команды ежедневно пользуются более 60 менеджеров Яндекса, чтобы находить новые точки роста выручки и защищать бюджеты клиентов.
Задачи
•Вести полный цикл создания мультиагентных систем: проектировать логику работы, выбирать LLM, создавать кастомные навыки и настраивать интеграции с внутренними сервисами Яндекса и внешними API
•Выстраивать систему оценки ответов, выявлять галлюцинации и внедрять автоматическую валидацию, в том числе LLM-as-a-judge
•Дорабатывать признаки ML-модели потенциала клиентов, тестировать гипотезы и проводить эксперименты для повышения точности алгоритма
•Проектировать архитектуру и процессы MLOps
•Выстраивать конвейеры данных, упаковывать решения в сервисы и обеспечивать их стабильную работу в производственной среде
Требования
•Коммерческий опыт разработки на Python от трёх лет
•Практический опыт работы с LLM API, промпт-инжинирингом, RAG и оценкой качества генерации
•Глубокое понимание классического ML, включая gradient boosting, feature engineering и A/B-тесты
•Уверенная работа с данными, SQL, pandas и инструментами визуализации
•Самостоятельность и готовность отвечать за архитектурные решения
Будет плюсом
•Опыт построения мультиагентных систем
•Внедрение LLM-as-a-judge или RAGAS для автоматической оценки качества
•Понимание AdTech или перформанс-маркетинга
•Базовые навыки DevOps, Docker, API и развёртывания сервисов
Условия
Условий в вакансии нет.
