Описание
GigaChat развивает направление безопасности ответов AI-ассистента: оно помогает определять поведение ассистента в сложных ситуациях, оценивать качество ответов и системно его улучшать.
Задачи
•Формировать видение и стратегию Safety, определять целевое поведение ассистента, приоритетные риски и направления развития
•Готовить и защищать дорожную карту перед руководством, согласовывать её с продуктовыми и модельными командами
•Разрабатывать методологию оценки, описывать категории рисков, уровни критичности и допустимые варианты ответа
•Создавать правила разметки, примеры и процесс разбора спорных случаев
•Управлять метриками небезопасных ответов, необоснованных отказов и качества безопасных альтернатив
•Анализировать различия по темам, сценариям, версиям моделей и компонентам системы
•Развивать бенчмарки и регулярные проверки, формировать требования к тестовым наборам и оценке
•Проверять сложные, пограничные и многошаговые диалоги, а также регрессии после обновлений
•Превращать сигналы из пользовательских диалогов, обращений, исследований и red teaming в приоритизированные задачи
•Ставить задачи модельной команде, описывать проблемное и целевое поведение, требования к данным для дообучения и оценке результата
•Выбирать подходы к исправлению вместе с техническими лидерами
•Согласовывать критерии успеха и допустимые регрессии, проверять результаты на независимых данных и в продукте
•Формировать заключения о готовности изменений к выпуску
•Сокращать лишние ограничения и отказы на допустимых запросах, повышать качество объяснений и безопасных альтернатив
•Координировать оценку масштаба и критичности инцидентов, временные меры, поиск причин и проверку исправлений
•Декомпозировать инициативы с техническими лидерами, согласовывать ресурсы, фиксировать зависимости, сроки и владельцев результата
Требования
•Опыт работы с продуктами ML/AI и самостоятельного ведения задач от постановки проблемы до измеримого результата после запуска
•Техническая и аналитическая база в Data Science, ML Engineering, продуктовой или аналитике данных либо сопоставимая практическая глубина
•Понимание устройства LLM-продуктов: моделей, инструкций, контекста, RAG, защитных механизмов и внешних инструментов
•Умение обсуждать с инженерами причины ошибок и способы их устранения
•Понимание цикла улучшения моделей: данных и разметки, дообучения, оценки на отложенных данных, проверки регрессий, выпуска и мониторинга
•Уверенная работа с метриками качества, выборками, ошибками классификации и статистической неопределённостью
•Умение проверять выводы по данным с помощью SQL, Python или сопоставимых инструментов
•Умение формировать видение направления, определять приоритеты, выстраивать процессы и принимать решения при неполной информации
•Опыт постановки задач техническим командам и приёмки результатов по измеримым критериям
•Опыт защиты приоритетов и согласования ресурсов в межкомандной работе
•Умение договариваться с несколькими командами, аргументировать решения и объяснять технические вопросы понятным языком
Будет плюсом: опыт в AI Safety, Trust & Safety, оценке LLM, модерации генерируемого контента, качестве диалоговых систем, работе с бенчмарками, red teaming, LLM-as-a-judge, разметкой и контролем качества данных, взаимодействии с командами post-training, guard-моделей или alignment, чувствительными пользовательскими сценариями, безопасностью длительных диалогов или мультимодальных ассистентов, построении нового направления или межкомандного процесса с нуля
Условия
•Возможность выбрать гибридный формат или работу в офисе
•Ежегодный пересмотр зарплаты и годовая премия
•Корпоративный спортзал и зоны отдыха
•Более 400 образовательных программ СберУниверситета
•Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
•Ипотека выгоднее до 7% для сотрудников
•Бесплатная подписка СберПрайм+ и скидки на продукты компаний-партнёров
•Вознаграждение за рекомендацию друзей в команду
