Аналитик-разработчик для оценки качества моделей в Alice AI
От 3 лет опыта. Удалённая работа, офис, гибридный формат.
Какие задачи вас ждут
Прокачка моделей
Вам предстоит прокачивать наборы запросов через внутренние инструменты для оценки внутренних и внешних моделей.
Поддержка инструментов оценки
Вы будете настраивать и запускать внутренние инструменты оценки моделей, находить причины сбоев и исправлять то, что мешает работе. Также нужно будет развивать надстройки над инфраструктурой прокачки, чтобы другие аналитики могли легко делать то же самое.
Исследование новых моделей и данных
Вам нужно будет изучать особенности поведения новых моделей, разбирать непривычные данные и форматы логов. Здесь задачи меняются: вчера проблема была в данных Alice AI, сегодня — в странном формате ответа новой модели, завтра — в инструменте оценки. Предстоит быстро погружаться в малознакомую систему и находить причину проблемы.
Помощь с улучшением процесса оценки
Замечать повторяющиеся ошибки, оформлять понятные баг-репорты и предлагать улучшения инструментов и процесса оценки — это также будет входить в ваши задачи.
Мы ждём, что вы
•Готовы оперативно разбираться в большом количестве незнакомых инструментов, данных, логов
•Можете самостоятельно запускать и поддерживать технические процессы
•Умеете ясно описывать проблему, воспроизводить её и объяснять её суть коллегам
Будет плюсом, если вы
•Работали с инструментами оценки моделей или качеством ответов AI-систем, слышали про v1/chat/completions, LLM-as-a-Judge
•Автоматизировали процессы и поддерживали внутренние инструменты для работы с данными
Бенефиты работы в Яндексе
Расширенная медицинская страховка начинает работать с первого месяца в Яндексе.
•Базовые услуги: плановая помощь и неотложная за рубежом, страхование от несчастных случаев для любителей активного отдыха и лечение критических заболеваний.
•Ментальное здоровье: врачи в клиниках по ДМС, онлайн-консультации с психологами, а также психотерапия в офисах, где есть кабинет психотерапевта.
•Ежегодные чекапы: по ДМС можно проходить чекапы и регулярно вакцинироваться.
•Больничный: 30 дней в году оплачиваются — вы получите полную зарплату, как будто не болели.
•Стоматология: плановые процедуры, профессиональная чистка и экстренная помощь за рубежом.
•Коррекция зрения: после года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия.
•Терапевты в офисах: кабинеты врача-терапевта есть во всех крупных офисах Яндекса.
•Ведение беременности и роды: оплачивается для сотрудниц и жён сотрудников, которые с нами более двух лет.
•Страховка для родственников по системе 80/20: компания оплачивает 80% стоимости ДМС для детей и супругов, остальные 20% — сотрудник. В страховку входит всё то же самое, что и у сотрудника.
