Описание
Отдел контроля успеваемости мультиагентных систем оценивает качество решений на базе Gen-AI.
Задачи
•Тестировать и оценивать качество решений на базе Gen-AI
•Анализировать результаты и выявлять причины отклонений
•Мониторить метрики эффективности и качества решений на базе Gen-AI
•Готовить отчёты и аналитические заключения о качестве работы, контролировать выполнение доработок
•Готовить предложения по повышению качества работы решений на базе Gen-AI
•Участвовать в разработке методик оценки качества AI-продуктов
•Взаимодействовать со связанными командами
Требования
•Высшее образование
•Опыт работы в аналитике данных или исследовании качества программного обеспечения
•Умение анализировать большие объёмы данных
•Продвинутый уровень владения Excel
•Понимание принципов работы генеративных моделей и LLM
•Стрессоустойчивость, умение работать в команде
Будет плюсом
•Образование в математике, информатике, статистике или смежной области
•Опыт работы с SQL и другими инструментами анализа данных
•Навыки работы с генеративными AI-моделями
•Опыт создания AI-агентов и их применения в работе
Условия
•Официальное трудоустройство по ТК РФ
•График 5/2, с 8:00 до 17:00 или с 9:00 до 18:00
•Фиксированный оклад и годовой бонус
•ДМС для сотрудника и родственников с первого дня трудоустройства
•Обучение в СберУниверситете, доступ к виртуальной школе и профессиональным конкурсам
•Подписка Прайм с возможностью совместного использования на трёх близких
•Скидка по ипотечному кредиту, равная 1/3 ключевой ставки ЦБ
