Описание
Еком-агенты помогают пользователям выбирать товары и принимать решения о покупке прямо в чат-интерфейсе: уточняют потребности, ищут подходящие варианты, сравнивают характеристики и цены, находят лучшие предложения и сопровождают пользователя на пути от первого запроса до покупки. Команда развивает еком-сценарии на базе LLM и VLM, использует классическое ML и инфраструктуру Поиска, а также запускает новых агентов.
Задачи
•Искать и реализовывать точки роста продукта
•Формулировать гипотезы, находить решения, проводить полный цикл экспериментов и доводить успешные изменения до продакшена
•Проектировать и поддерживать автоматизированные пайплайны оценки качества еком-агентов
•Создавать golden datasets для ключевых еком-сценариев
•Формулировать критерии качества и инструкции для разметки
•Строить пайплайны на основе LLM-as-a-judge
•Автоматизировать разметку с помощью LLM
•Организовывать и анализировать асессорскую разметку
•Исследовать связь между офлайн-оценками, поведением пользователей и онлайн-метриками
•Следить за полезностью, точностью и достоверностью ответов агентов
•Собирать датасеты и анализировать логи пользовательских сценариев и события разных сервисов
•Решать проблемы качества данных и создавать воспроизводимые пайплайны обработки
•Применять классические ML-модели, LLM, VLM и другие методы
•Поддерживать и развивать систему данных для аналитики еком-агентов
•Развивать витрины, метрики, документацию и инструменты для продуктовых исследований и экспериментов
•Развивать семантический контекст, метаданные, lineage, документацию и паттерны получения данных для AI-систем
Требования
•От 3 лет опыта
•Самостоятельно находить точки роста и улучшать продуктовые метрики
•Уверенно владеть Python и SQL
•Работать с большими объёмами событийных данных и логами разных сервисов
•Работать с пайплайнами обработки данных и инструментами оркестрации, например Airflow
•Находить и исправлять проблемы качества данных
•Понимать принципы работы LLM-систем, AI-агентов и классического ML
•Уверенно работать с AI-инструментами разработки и агентскими рабочими процессами программирования
•Самостоятельно вести задачи от обнаружения проблемы и исследования данных до эксперимента, реализации и выкатки в продакшен
•Быть автономным и проактивным, отвечать за результат
•Будет плюсом опыт работы с A/B-экспериментами, LLM-as-a-judge, разметкой данных или оценкой качества генеративных моделей
Условия
•Расширенная медицинская страховка с первого месяца
•Оплачиваемый больничный — 30 дней в году
•Доступ к передовым моделям для ежедневной работы
•Компенсация от 100М токенов для экспериментов и оптимизации рутины
•Возможность проходить чекапы и регулярно вакцинироваться по ДМС
•Покрытие коррекции зрения и хирургического лечения косоглазия после года работы
•Оплата ведения беременности и родов для сотрудниц и жён сотрудников, которые работают более двух лет
•Страховка для родственников по системе 80/20
