Описание
Алиса AI — система моделей для построения ответов LLM с использованием поиска как источника информации и обогащений ответа. Система внедрена в Поиск Яндекса и Алису; сейчас команда развивает ответы на сложные запросы, требующие специализированных знаний.
Задачи
•Разбираться в метриках качества модели и развивать их на экспертных срезах
•Работать с экспертами, формализовать их знания и превращать их в разметку и критерии оценки модели
•Анализировать ответы модели на сложные темы и определять, что делает их полезными и точными для пользователя
•Улучшать качество ответов на основе результатов анализа
•Создавать процессы и инструменты, которые снижают рутину экспертов и ускоряют разметку
•Разбираться в инфраструктуре, предлагать улучшения и запускать новые пайплайны
Требования
•Уверенно работать с Python и SQL
•Знать математическую статистику и теорию вероятностей
•Уметь формализовать и структурировать требования и ожидания заказчиков
•Быть самостоятельным и браться за новые задачи без готового решения
•Уметь спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую
Будет плюсом:
•Опыт написания инструкций и самостоятельного запуска проектов разметки данных
•Опыт работы с машинным обучением и нейронными сетями
•Умение создавать точные и эффективные промпты для генеративных нейросетей
Условия
Условий в вакансии нет
