Описание
Алиса — голосовой ассистент, которым ежедневно пользуются миллионы людей. Новая архитектура позволяет большой языковой модели самостоятельно вызывать инструменты для выполнения пользовательских запросов на умных устройствах.
Задачи
•Анализировать качество работы модели, пользовательские сценарии и проблемные случаи
•Сегментировать ошибки и DSAT, искать закономерности в данных
•Формулировать гипотезы для повышения качества и оценивать влияние изменений на пользовательский опыт
•Переводить ключевые сценарии Алисы на новую архитектуру LLM
•Анализировать пользовательские запросы и сценарии
•Помогать проектировать инструменты и сценарии вызова функций
•Выявлять точки роста, собирать данные для обучения и приёмки моделей
•Участвовать в формировании наборов для оценки и метрик
•Развивать систему оценки качества: офлайн- и онлайн-метрики, сценарные проверки, эксперименты A/B, мониторинг ухудшений и аналитические панели
Требования
•Более двух лет опыта работы аналитиком данных, продуктовым аналитиком или аналитиком в продукте на основе данных
•Опыт работы с LLM или генеративным ИИ, помимо решения бытовых задач
•Уверенное владение SQL и Python для анализа данных
•Умение работать с большими объёмами логов и событийных данных
•Опыт продуктовой аналитики и поиска выводов по данным
•Знание основ статистики и A/B-тестирования
•Умение формулировать продуктовые гипотезы и оценивать их эффект
•Системное мышление и умение разбираться в сложных многокомпонентных продуктах
•Опыт оценки качества LLM, включая LLM-as-a-judge, evals и RAG
•Знакомство с концепциями Agentic AI и tool calling
•Опыт построения аналитических панелей
•Опыт работы с неструктурированными данными и текстовыми логами
Будет плюсом
•Опыт работы с LLM-продуктами или AI-ассистентами, NLP/NLU-продуктами или голосовыми ассистентами
•Понимание цикла обучения и улучшения ML/LLM-моделей
Условия
Условий в вакансии нет
