Сбер

QA Engineer / LLM Evaluation

Коротко

QA-инженер в команду AIFA, который отвечает как за классическое тестирование программного продукта (функциональное, интеграционное, регрессионное, end-to-end, API/UI, микросервисы), так и за оценку качества LLM и финансового агента — бенчмарки, метрики, воспроизводимость результатов. Требуется опыт QA от 2 лет, тестирование REST API, базовые Python и SQL, понимание микросервисной архитектуры; плюсом будут pytest, CI/CD, Docker, нагрузочное тестирование или опыт оценки LLM. Работа в офисе Сбера в Москве (м. Ленинский проспект) в гибридном формате.

О роли
В команду AIFA ищем QA-инженера, который будет отвечать как за классическое качество программного продукта, так и за оценку результатов работы LLM и финансового агента.
Роль подойдёт технически сильному специалисту или QA-инженеру, который хочет развиваться в автоматизации тестирования AI-продуктов.
Обязанности
•проводить функциональное, интеграционное, регрессионное и end-to-end тестирование AIFA
•тестировать backend API, пользовательский интерфейс и взаимодействие микросервисов
•автоматизировать API- и UI-тесты
•проверять длительные и параллельные процессы, стриминг, повторные вызовы и восстановление после ошибок
•создавать и поддерживать тестовые наборы для извлечения данных, Q&A, финансового анализа и моделирования
•формировать бенчмарки и метрики качества LLM-компонентов
•проверять воспроизводимость результатов и анализировать причины деградации качества
•участвовать в разборе дефектов и контролировать их исправление
•формировать quality gates для выпуска релизов
•организовывать валидацию результатов совместно с финансовыми экспертами
Требования
•опыт в роли QA от 2х лет
•понимание основных видов и методик тестирования
•опыт тестирования REST API
•базовые знания Python и готовность развиваться в автоматизации
•базовый SQL
•умение работать с логами и локализовывать источник ошибки
•понимание клиент-серверной и микросервисной архитектуры
•внимательность к деталям и способность системно описывать дефекты
•опыт с pytest, CI/CD, Docker, нагрузочным тестированием или оценкой LLM будет преимуществом
•глубокая финансовая экспертиза не обязательна — необходимую предметную часть поможет освоить команда
Условия
•комфортный современный офис рядом с м. Ленинский проспект
•гибридный формат работы
•ежегодный пересмотр зарплаты, квартальная и годовая премия (премия указывается в зависимости от должности и системы премирования)
•корпоративный спортзал и зоны отдыха
•более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
•программа адаптации и помощь руководителя на старте (для вакансий уровня Junior)
•расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
•гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
•подписка Прайм с возможностью совместного использования на трёх близких
•вознаграждение за рекомендацию друзей в команду Сбера

Хватит откликаться.
Получите рекомендацию.

$10 стартовых кредитов

Всего 60 секунд, полностью на автопилоте — AI-агенты Eraldt читают ваше резюме, определяют подходящие роли, находят живые вакансии и людей, которые могут вас порекомендовать, пишут им личные письма и добиваются рекомендации.

Это не отклик на вакансию: резюме не уходит в компанию, а рекомендацию именно по этой роли мы не обещаем.

Посмотрите, кто ещё получает интервью на автопилоте