О команде
Мы занимаемся независимой оценкой качества и модельных рисков Kandinsky – семейства генеративных моделей для создания и редактирования изображений, видео и аудиовизуального контента, а также моделей мира (world models).
Наша задача – находить слабые места моделей, проверять выбранные подходы к оценке и готовить рекомендации, которые помогают принимать решения о релизе и возможных сценариях применения моделей.
Мы работаем с новыми версиями Kandinsky до их выхода к пользователям. Разрабатываем собственные методологии, бенчмарки и инструменты полного цикла, объединяя автоматические метрики, human evaluation и подходы LLM/VLM-as-a-judge.
О роли
Мы ищем специалиста на стыке исследований и инженерной разработки.
В этой работе не всегда существует готовая методология или универсальная метрика. Нужно определить, из чего складывается качество модели, спроектировать проверяемый эксперимент и реализовать воспроизводимый evaluation-пайплайн.
Роль охватывает весь цикл оценки: от формулирования критериев и подготовки тестовых данных до анализа результатов и рекомендаций для команды разработки. Важно не только измерить качество модели, но и понять, насколько она подходит для реальных пользовательских и бизнес-сценариев, какие ограничения критичны и что осталось непроверенным.
Обязанности
Проектировать оценку с нуля
•декомпозировать качество на измеримые критерии и собирать под них тестовые сценарии, промпты и выборки
•проектировать оценку там, где готовой методологии ещё нет.
Разрабатывать evaluation-пайплайны
•реализовывать на Python инструменты для запуска моделей, сбора результатов и расчёта метрик
•обеспечивать воспроизводимость экспериментов и развивать внутреннюю библиотеку оценки
•готовить инструкции для асессоров и контролировать качество разметки.
Строить VLM-as-a-judge
•разрабатывать судей под конкретные критерии, учитывать их bias и ограничения
•понимать, где автоматическая оценка работает, а где без человека нельзя.
Разбираться в ошибках моделей
•понимать ограничения diffusion-моделей и причины типовых артефактов
•отличать реальную проблему модели от ошибки методологии или замера.
Формировать заключение по модельному риску
•анализировать качество по отдельным сценариям, типам промптов и срезам, а не только по среднему значению
•формулировать условия релиза, ограничения и явно фиксировать то, что осталось непроверенным.
Требования
Хорошее понимание устройства генеративных моделей:
•понимание принципов работы Transformers, diffusion- и мультимодальных моделей и основных задач: T2I, Image Editing, T2V, Audio, Video-Audio.
•понимание типовых ограничений, ошибок и артефактов моделей
•способность разбираться в причинах ошибок и способах их проверки.
Способность проектировать оценку качества моделей:
•декомпозировать качество на измеримые критерии и проектировать тестовые сценарии, промпты и выборки.
•выбирать корректный подход к оценке: human evaluation, автоматические метрики, LLM/VLM-as-a-judge, а также подходящие модели для сравнения;
•проверять валидность метрик и уметь проектировать оценку для новых задач и модальностей, где ещё нет готовой методологии.
Навыки работы с LLM и VLM:
•prompt engineering, structured output, tool calling и работа с контекстом и ограничениями моделей
•построение и валидация LLM/VLM-as-a-judge, включая проверку автоматической оценки относительно человеческой
•понимание нестабильности, bias и галлюцинаций моделей
•умение подбирать модель под конкретную исследовательскую задачу.
Понимание AI-агентов и агентных систем:
•понимать, чем агент отличается от обычного вызова LLM;
•знать основные компоненты агентной системы: роли, инструменты, контекст, память и оркестрация
•понимать, когда агентный подход действительно полезен, а когда создаёт лишнюю сложность
•уметь оценивать надёжность и ограничения агентных решений.
Умение проводить технический и научный ресерч:
•находить и критически разбирать актуальные статьи, бенчмарки, модели и реализации
•сравнивать решения с актуальными подходами и оценивать достоверность результатов
•переводить ресерч в конкретные идеи для тестирования и развития внутренних подходов.
Будет плюсом
Умение работать с агентами и субагентами:
•декомпозировать задачи между агентами, задавая им чёткие роли и зоны ответственности
•управлять контекстом и изоляцией субагентов, организовывать проверку результатов
•собирать результаты нескольких агентов в единое решение и критически оценивать их выводы
Навыки вайбкодинга и AI-assisted coding:
•уверенно работать с Codex, Claude Code и другими coding-агентами
•проверять и дорабатывать сгенерированный код, использовать агентов для тестирования
•понимать архитектуру создаваемого решения
Продуктовое мышление:
•связывать тестирование с реальными пользовательскими сценариями и понимать, какие ошибки критичны для продукта
•приоритизировать направления проверки и переводить результаты оценки в рекомендации для разработки
•понимать влияние результатов на релиз и дальнейшее развитие модели.
Условия
•комфортный современный офис рядом с м. Кутузовская
•возможность выбрать удобный график - офис / гибрид
•ежегодный пересмотр зарплаты и годовая премия
•корпоративный спортзал и зоны отдыха
•более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
•расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
•гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
•подписка Прайм с возможностью совместного использования на трёх близких
•скидки на продукты компаний-партнеров
•вознаграждение за рекомендацию друзей в команду Сбера
