Описание
Мы занимаемся независимой оценкой качества и модельных рисков Kandinsky – семейства генеративных моделей для создания и редактирования изображений, видео и аудиовизуального контента, а также моделей мира (world models). Наша задача – находить слабые места моделей, проверять выбранные подходы к оценке и готовить рекомендации, которые помогают принимать решения о релизе и возможных сценариях применения моделей. Мы ищем специалиста на стыке исследований и инженерной разработки.
Задачи
•Декомпозировать качество на измеримые критерии и собирать под них тестовые сценарии, промпты и выборки
•Проектировать оценку там, где готовой методологии ещё нет
•Реализовывать на Python инструменты для запуска моделей, сбора результатов и расчёта метрик
•Обеспечивать воспроизводимость экспериментов и развивать внутреннюю библиотеку оценки
•Готовить инструкции для асессоров и контролировать качество разметки
•Разрабатывать судей под конкретные критерии, учитывать их bias и ограничения
•Понимать, где автоматическая оценка работает, а где без человека нельзя
•Понимать ограничения diffusion-моделей и причины типовых артефактов
•Отличать реальную проблему модели от ошибки методологии или замера
•Анализировать качество по отдельным сценариям, типам промптов и срезам, а не только по среднему значению
•Формулировать условия релиза, ограничения и явно фиксировать то, что осталось непроверенным
Требования
•Понимание принципов работы Transformers, diffusion- и мультимодальных моделей и основных задач: T2I, Image Editing, T2V, Audio, Video-Audio
•Понимание типовых ограничений, ошибок и артефактов моделей, способность разбираться в причинах ошибок и способах их проверки
•Умение декомпозировать качество на измеримые критерии и проектировать тестовые сценарии, промпты и выборки
•Умение выбирать корректный подход к оценке: human evaluation, автоматические метрики, LLM/VLM-as-a-judge, а также подходящие модели для сравнения; проверять валидность метрик и уметь проектировать оценку для новых задач и модальностей, где ещё нет готовой методологии
•Prompt engineering, structured output, tool calling и работа с контекстом и ограничениями моделей
•Построение и валидация LLM/VLM-as-a-judge, включая проверку автоматической оценки относительно человеческой
•Понимание нестабильности, bias и галлюцинаций моделей, умение подбирать модель под конкретную исследовательскую задачу
•Понимание, чем агент отличается от обычного вызова LLM; знание основных компонентов агентной системы: роли, инструменты, контекст, память и оркестрация
•Понимание, когда агентный подход действительно полезен, а когда создаёт лишнюю сложность
•Умение оценивать надёжность и ограничения агентных решений
•Умение находить и критически разбирать актуальные статьи, бенчмарки, модели и реализации
•Умение сравнивать решения с актуальными подходами и оценивать достоверность результатов
•Умение переводить ресерч в конкретные идеи для тестирования и развития внутренних подходов
Будет плюсом
•Декомпозировать задачи между агентами, задавая им чёткие роли и зоны ответственности
•Управлять контекстом и изоляцией субагентов, организовывать проверку результатов
•Собирать результаты нескольких агентов в единое решение и критически оценивать их выводы
•Уверенно работать с Codex, Claude Code и другими coding-агентами
•Проверять и дорабатывать сгенерированный код, использовать агентов для тестирования
•Понимать архитектуру создаваемого решения
•Связывать тестирование с реальными пользовательскими сценариями и понимать, какие ошибки критичны для продукта
•Приоритизировать направления проверки и переводить результаты оценки в рекомендации для разработки
•Понимать влияние результатов на релиз и дальнейшее развитие модели
Условия
•Комфортный современный офис рядом с м. Кутузовская
•Возможность выбрать удобный график - офис / гибрид
•Ежегодный пересмотр зарплаты и годовая премия
•Корпоративный спортзал и зоны отдыха
•Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
•Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
•Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
•Подписка Прайм с возможностью совместного использования на трёх близких
•Скидки на продукты компаний-партнеров
•Вознаграждение за рекомендацию друзей в команду Сбера
