Локация
Москва, гибридный формат с работой в офисе
Компания
Развитие Алисы — популярного голосового ассистента с LLM-архитектурой, tool calling и интеграцией с умными устройствами.
Что делать
•Анализировать качество работы LLM, пользовательские сценарии, проблемные кейсы, ошибки и DSAT.
•Искать закономерности в больших объёмах логов и событийных данных с помощью data mining.
•Формировать гипотезы по улучшению качества модели и оценивать их влияние на пользовательский опыт.
•Участвовать в масштабировании сценариев Алисы через tool calling, проектировании инструментов и сборе данных для обучения и приёмки моделей.
•Развивать eval-наборы, офлайн- и онлайн-метрики, LLM-as-a-judge, сценарные оценки и A/B-эксперименты.
•Создавать аналитические дашборды и мониторинг деградаций качества AI-ассистента.
Требования
•От двух-трёх лет опыта в роли Data Analyst, Product Analyst или Analyst в data-driven-продукте.
•Практический опыт работы с LLM или Generative AI и интерес к созданию AI-систем.
•Уверенное владение SQL и Python для анализа данных.
•Опыт работы с большими объёмами логов и событийных данных.
•Знание продуктовой аналитики, статистики и A/B-тестирования.
•Умение формулировать продуктовые гипотезы, оценивать их эффект и разбираться в сложных многокомпонентных продуктах.
Хорошо, если есть
•Опыт работы с LLM-based-продуктами или AI-ассистентами.
•Опыт оценки качества LLM, включая LLM-as-a-judge, evals и RAG.
•Знание Agentic AI и tool calling.
•Опыт построения дашбордов в Tableau, DataLens или Superset.
•Опыт работы с NLP/NLU-продуктами, голосовыми ассистентами, неструктурированными данными и текстовыми логами.
Культура и преимущества
•Работа над технологиями Алисы и архитектурой на основе больших языковых моделей.
•Возможность влиять на качество, полезность, надёжность и эмпатию AI-ассистента.
•Гибридный формат работы в московском офисе.
