Описание
Команда проводит офлайн-оценку больших языковых моделей Алисы и моделей других разработчиков на подготовленных наборах запросов.
Задачи
•Прокачивать наборы запросов через внутренние инструменты для оценки моделей
•Настраивать и запускать внутренние инструменты оценки моделей, находить причины сбоев и исправлять проблемы
•Развивать надстройки над инфраструктурой прокачки, чтобы другие аналитики могли использовать эти инструменты
•Изучать поведение новых моделей, разбирать незнакомые данные и форматы логов, находить причины проблем
•Замечать повторяющиеся ошибки, оформлять понятные отчёты об ошибках и предлагать улучшения инструментов и процесса оценки
Требования
•Быстро разбираться в незнакомых инструментах, данных и логах
•Самостоятельно запускать и поддерживать технические процессы
•Ясно описывать и воспроизводить проблемы, объяснять их суть коллегам
Будет плюсом:
•Опыт работы с инструментами оценки моделей или качеством ответов ИИ-систем
•Знакомство с v1/chat/completions и LLM-as-a-Judge
•Автоматизация процессов и поддержка внутренних инструментов для работы с данными
Условия
•Компенсация от 100М токенов для экспериментов и оптимизации рутины
•Доступ к передовым моделям для ежедневной работы
•Расширенная медицинская страховка с первого месяца работы
•Оплачиваемые 30 дней больничного в году
•Страхование от несчастных случаев, лечение критических заболеваний, психологическая помощь и психотерапия
•Ежегодные медицинские осмотры и вакцинация
•Стоматология и экстренная медицинская помощь за рубежом
•Коррекция зрения и хирургическое лечение косоглазия после года работы
•Ведение беременности и роды для сотрудниц и жён сотрудников со стажем более двух лет
•Медицинская страховка для детей и супругов: компания оплачивает 80% стоимости, сотрудник — 20%
