Локация и формат
Локация: Москва, Россия; гибридный формат работы, офис рядом с м. Кутузовская.
Зарплата: от 500 000 ₽ в месяц на руки.
Компания
Сбер развивает ИИ-помощника, который отвечает на вопросы, использует инструменты и выполняет пользовательские задачи.
Что делать
•Исследовать, как ИИ-помощник справляется с реальными пользовательскими задачами, и находить причины ошибок.
•Создавать eval-наборы и бенчмарки для проверки моделей, промптов, навыков и работы с инструментами.
•Развивать SBS и LLM-as-judge, сопоставляя автоматическую оценку с человеческой разметкой.
•Превращать найденные проблемы в гипотезы, данные для дообучения и критерии приёмки.
•Связывать качество модели с пользовательской ценностью продукта и строить инструменты для выявления регрессий.
Требования
•Сильная база в статистике и анализе данных.
•Уверенная работа с Python и SQL, включая проверку и исправление кода, созданного ИИ.
•Понимание принципов работы LLM и интерес к оценке моделей и агентов.
•Умение работать с неопределённостью, ограничениями данных и слабыми местами методов.
•Практический опыт использования кодинговых агентов для исследовательских задач, автоматизации процессов или создания инструментов.
•Готовность самостоятельно ставить задачи, выбирать методы и отвечать за корректность выводов.
Культура и преимущества
•Гибридный формат и современный офис с зонами отдыха.
•Ежегодный пересмотр зарплаты и годовая премия.
•Корпоративный спортзал.
•Система обучения для профессионального и карьерного развития.
•Расширенный полис ДМС с первого дня и страхование для семьи.
•Ипотечная программа и вознаграждение за рекомендации сотрудников.
