Локация
Удалённая работа, офис или гибридный формат.
Компания
Yandex развивает внутренние и внешние решения Alice AI и инструменты для оценки качества больших языковых моделей.
Что делать
•Прокачивать наборы запросов через внутренние инструменты для оценки моделей Alice AI и моделей других разработчиков.
•Настраивать и запускать инструменты оценки моделей, находить причины сбоев и устранять препятствия в рабочих процессах.
•Развивать надстройки над инфраструктурой прокачки, чтобы аналитики могли самостоятельно выполнять оценки.
•Исследовать поведение новых моделей, нестандартные данные и форматы логов.
•Находить повторяющиеся ошибки, готовить понятные баг-репорты и предлагать улучшения инструментов и процесса оценки.
Требования
•Опыт от 3 лет.
•Готовность быстро разбираться в большом количестве незнакомых инструментов, данных и логов.
•Умение самостоятельно запускать и поддерживать технические процессы.
•Умение ясно описывать проблему, воспроизводить её и объяснять суть коллегам.
Хорошо, если есть
•Опыт работы с инструментами оценки моделей или качеством ответов AI-систем.
•Знание v1/chat/completions и LLM-as-a-Judge.
•Опыт автоматизации процессов и поддержки внутренних инструментов для работы с данными.
