Сбер

QA Engineer / LLM Evaluation (AI)

Коротко

QA Engineer в команде AIFA (СБЕР) тестирует AI-продукт с LLM-компонентами и финансовым агентом: backend API, UI, взаимодействие микросервисов и качество результатов LLM. Требуется опыт QA от 2 лет, тестирование REST API, базовые Python и SQL; плюсом — pytest, CI/CD, Docker, нагрузочное тестирование и опыт оценки LLM. Работа в Москве, офис рядом с м. Ленинский проспект, формат гибридный или на месте.

Локация
Москва; работа на месте работодателя, также указан гибридный формат. Офис расположен рядом с м. Ленинский проспект.
Компания
СБЕР развивает команду AIFA, создающую AI-продукты с LLM-компонентами и финансовым агентом.
Что делать
•Проводить функциональное, интеграционное, регрессионное и end-to-end тестирование AIFA.
•Тестировать backend API, пользовательский интерфейс и взаимодействие микросервисов.
•Автоматизировать API- и UI-тесты, а также проверять длительные и параллельные процессы, стриминг, повторные вызовы и восстановление после ошибок.
•Создавать и поддерживать тестовые наборы для извлечения данных, Q&A, финансового анализа и моделирования.
•Формировать бенчмарки и метрики качества LLM-компонентов, проверять воспроизводимость результатов и анализировать причины деградации качества.
•Участвовать в разборе дефектов, контролировать исправления, формировать quality gates и организовывать валидацию результатов с финансовыми экспертами.
Требования
•Опыт работы в QA от 2 лет; в описании вакансии указан диапазон общего опыта от 3 до 6 лет.
•Понимание основных видов и методик тестирования, клиент-серверной и микросервисной архитектуры.
•Опыт тестирования REST API, базовые знания Python и SQL.
•Умение работать с логами, локализовывать источник ошибки и системно описывать дефекты.
•Готовность развиваться в автоматизации тестирования AI-продуктов.
Хорошо, если есть
•Опыт с pytest, CI/CD, Docker, нагрузочным тестированием или оценкой LLM.
•Глубокая финансовая экспертиза не требуется: предметную область можно освоить с помощью команды.
Культура и преимущества
•Ежегодный пересмотр зарплаты, квартальная и годовая премии.
•Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
•Более 400 образовательных программ СберУниверситета, программа адаптации и помощь руководителя на старте.
•Корпоративный спортзал, зоны отдыха и подписка Прайм с возможностью совместного использования.
•Льготный дисконт по ипотечному кредиту и вознаграждение за рекомендации кандидатов.

Хватит откликаться.
Получите рекомендацию.

$10 стартовых кредитов

Всего 60 секунд, полностью на автопилоте — AI-агенты Eraldt читают ваше резюме, определяют подходящие роли, находят живые вакансии и людей, которые могут вас порекомендовать, пишут им личные письма и добиваются рекомендации.

Это не отклик на вакансию: резюме не уходит в компанию, а рекомендацию именно по этой роли мы не обещаем.

Посмотрите, кто ещё получает интервью на автопилоте