Описание
Алиса — голосовой ассистент, ответы которого могут включать картинки, видео, карточки товаров и геообъектов, ссылки и рекламу. Команда разрабатывает метрики и инструменты офлайн-оценки качества обогащений с помощью профессиональных разметчиков и автоматических оценщиков на основе LLM. Эти оценки используют для обучения моделей Алисы и принятия решений о релизах.
Задачи
•Отвечать за оценку обогащений Alice AI
•Придумывать новые функции вместе с продуктовой командой
•Ставить задачи по разметке для AI-тренеров и автоматических оценщиков
•Писать подробные инструкции и собирать точные голден-сеты
•Определять метрики качества проекта и критерии успеха
•Анализировать качество ответов текущих версий модели
•Отслеживать метрики проекта и результаты экспериментов
•Выявлять и решать проблемы в оценке, обновлять голден-сеты, инструкции и автоматические оценщики
•Создавать агентов-оценщиков для обучения моделей и оценки экспериментов
•Управлять технической частью оценки ответов: запускать разметку, работать с интерфейсом исполнителя, настраивать конвейер подготовки и сохранения данных
•Определять приоритеты, следить за скоростью и стоимостью работы, контролировать качество и надёжность процесса оценки
•Изучать качество ответов на срезах «Еком» и «Гео»
Требования
•Опыт управления командой аналитиков не менее 2 лет
•Умение работать с данными и извлекать практические выводы
•Знание математической статистики и теории вероятностей
•Умение писать надёжный код на Python и знание алгоритмов
•Умение обосновывать выводы и защищать их перед заказчиками при неполных данных
•Самостоятельность и готовность браться за задачи без готового решения
•Интерес к развитию LLM и готовность глубоко погрузиться в эту тему
Условия
•Компенсация от 100М токенов для экспериментов и оптимизации рутины
•Доступ к передовым моделям для ежедневной работы
•Расширенная медицинская страховка с первого месяца работы
•Оплачиваемые больничные: 30 дней в году с сохранением полной зарплаты
•Страховка для детей и супругов по системе 80/20
•Оплата ведения беременности и родов для сотрудниц и жён сотрудников со стажем более двух лет
