Задачи
•Строить тестовую модель агента: сценарии звонков, состояния и переходы между ними, граничные и нестандартные случаи
•Писать и поддерживать тест-кейсы и чек-листы, собирать регрессионные наборы
•Проверять сценарии звонков вручную и с помощью текстовых прогонов, включая перебивания, уход от темы, неполные ответы, шум, фамилии, телефоны, даты и время
•Проверять работу агента с учётом недетерминированности LLM, считать долю успешных прогонов и отделять стабильные ошибки от случайных
•Заводить баги с чёткой классификацией
•Анализировать логи реальных звонков, находить повторяющиеся проблемы и превращать их в тест-кейсы
•Размечать и исправлять датасеты под конкретные баги: интенты и поля, эталонные реплики агента, пары хороших и плохих ответов для дообучения
•Писать критерии оценки и инструкции для автоматической проверки ответов через LLM-as-a-judge, выборочно проверять оценки
•Проверять после каждого релиза или дообучения, что старые баги закрыты и не появились новые
Требования
•Коммерческий опыт в тестировании от 2 лет
•Уверенное владение техниками тест-дизайна: классы эквивалентности, граничные значения, таблицы решений, диаграммы состояний и переходов, pairwise
•Умение писать понятные тест-кейсы, чек-листы и баг-репорты; опыт работы с TMS или аналогами
•Понимание процессов QA: регресс, смоук, приоритизация багов, тестовое покрытие
•Отличная грамотность в русском языке
•Внимательность и терпение к монотонной работе с большим объёмом диалогов и разметки
•Уверенная работа с таблицами и JSON, умение читать структурированные логи и данные
Будет плюсом
•Опыт тестирования чат-ботов, голосовых ассистентов или других LLM-продуктов
•Опыт разметки данных
•Базовый Python и pytest
•Понимание LLM, промптов и дообучения
•Опыт API-тестирования
•Интерес к медицине или опыт работы с клиниками
Условия
•График 5/2
•Зарплата: от 80 000 до 120 000 ₽
