Описание
Вакансия для того, кто хочет строить инновации мирового уровня и видеть реальный след от своей работы. Команда создаёт ИИ-решение для анализа реализации стратегии Сбера. Это кейс на уровне топовых мировых исследований в области сценарного моделирования комплексных экономико-социальных систем и построения предиктивных алгоритмов. Ищем в команду ребят с сильным техническим и концептуальным мышлением и жаждой создавать новое.
Задачи
•Функциональное тестирование backend сервисов и UI
•Написание и поддержка тестовой документации (чек-листы, тест-кейсы, баг-репорты, инструкции)
•Подготовка тестовых данных для тестирования / проведения ПСИ
•Участие в релизах, проведение регрессионного тестирования и участие в проведении сценариев приемо-сдаточных испытаний (ПСИ)
•Участие в работе с обращениями от пользователей и анализ информации в БД и логах сервисов
•Построение и поддержка eval-набора (golden set) и регрессионного контроля качества при смене моделей, промптов и версий приложения
•Автоматизированная оценка качества генерации (LLM-as-judge, метрики типа Ragas) при релизах
•Тестирование RAG: качество поиска релевантного контекста, корректность источников, поведение при неполной / противоречивой информации
•Тестирование агентных сценариев: многошаговые цепочки, вызовы инструментов (MCP), повторные попытки, эскалация к человеку
•Участие в мониторинге качества в проде и настройке обратной связи от пользователей
Требования
•Опыт работы в тестировании от 3 лет
•Понимание HTTP, кодов ответов, авторизации
•Опыт тестирования API (REST/JSON) для проверки интеграций и бизнес-логики, микросервисного взаимодействия
•Опыт тестирования запросов с помощью Postman/Insomnia/Swagger
•Опыт работы с форматами данных: JSON, YAML, XML, HTML
•Знание SQL, умение написать SQL запрос средней сложности
•Базовый опыт работы с системами сбора и визуализации метрик, работа с логами (Prometheus, Grafana)
•Понимание CI/CD и участия QA в пайплайнах доставки
•Понимание принципов работы LLM и их ограничений: недетерминированность вывода, галлюцинации, методы оценки качества генеративных моделей
•Опыт построения eval-наборов (golden set) и оценки качества LLM; желательно — LLM-as-judge, Ragas
Будет плюсом:
•Понимание RAG и методов оценки качества retrieval: релевантность контекста, корректность источников
•Опыт тестирования агентных систем: многошаговые агенты, tool calling
•Опыт работы с Python для автоматизации оценки (pytest)
•Понимание метрик качества AI-продукта и мониторинга качества в проде
•Опыт работы с Kafka
•Опыт работы с векторными / графовыми БД (например, Qdrant)
Условия
•Гибридный формат работы из офиса в г. Москва
•Годовой бонус и ежегодный пересмотр
•ДМС с первого дня + стоматология и льготное страхование для семьи
•Корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
•Офис на Ленинском проспекте с зонами отдыха и спортзалом
•Льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм с возможностью совместного использования на трёх близких, скидки от партнеров и сервисов группы компаний
