Локация
Москва; доступны удалённый, офисный и гибридный форматы работы
Компания
Yandex развивает технологии Alice AI и систему оценки качества ответов больших языковых моделей.
Что делать
•Проектировать схемы LLM-судей, экспериментировать с моделями и архитектурами и сравнивать подходы.
•Проводить регулярные замеры качества на новых моделях и типах запросов.
•Находить слабые места и систематические смещения, разбирать регрессии и проверять новые версии.
•Развивать систему оценки, добавляя новые аспекты и превращая экспериментальные решения в воспроизводимые вычислительные графы.
•Изучать свежие исследования по оценке LLM и проверять новые подходы на реальных задачах.
•Работать с оценкой текста, изображений и знаний о пользователе.
Требования
•От 3 лет опыта.
•Уверенное владение Python и SQL.
•Навыки анализа данных и построения воспроизводимых процессов их обработки.
•Знание теории вероятностей и математической статистики, умение проектировать метрики и интерпретировать результаты экспериментов.
•Понимание устройства современных LLM и опыт экспериментов с ними.
•Готовность самостоятельно разбираться в задачах без готовых решений и аккуратно формулировать выводы.
Хорошо, если есть
•Опыт разработки LLM-судей или других систем автоматической оценки моделей.
•Опыт работы с метриками в NLP.
•Опыт проектирования многошаговых LLM-пайплайнов.
•Опыт работы с агентными или мультимодальными системами.
•Свободное чтение технических статей на английском языке.
Культура и преимущества
•Работа в быстро развивающейся области LLM-as-a-Judge без общепринятых решений.
•Возможность экспериментировать с современными внутренними и внешними LLM, схемами и ансамблями моделей.
•Сочетание исследований, анализа данных и разработки инструментов для регулярного использования.
•Результаты метрик используются для принятия решений по экспериментам и обучения моделей.
