Описание
AI-команда реализует портфель ИИ-инициатив для бизнес-подразделений компании на внутренней платформе Dify.
Задачи
•Подготавливать тест-кейсы на основании требований и критериев приемки инициатив
•Проводить функциональное и интеграционное тестирование ИИ-агентов, сценариев на платформе Dify и API-интеграций со внутренними системами
•Проверять позитивные, негативные и пограничные сценарии, включая нетипичные запросы пользователей и «галлюцинации» модели
•Проводить регрессионное тестирование после изменений промптов, моделей, базы знаний и интеграций
•Проверять соответствие результатов согласованным требованиям и метрикам качества
•Формировать и поддерживать тестовые выборки совместно с бизнесом и ML-командой, участвовать в оценке качества ответов
•Фиксировать дефекты, контролировать их устранение и отчитываться о качестве релизов
•Проводить приемочное тестирование перед выпуском в промышленную эксплуатацию и участвовать в приемке с бизнесом
Требования
•Опыт работы в тестировании ПО от 3 лет
•От 1 года тестирования продуктов на основе ML/LLM или API и интеграций бэкенд-сервисов
•Понимание специфики недетерминированных ответов модели
•Не менее двух проектов тестирования интеграционных решений, API или ИИ-продуктов с выводом в промышленную эксплуатацию
•Опыт построения регрессионных наборов и тестовых выборок
•Знание тест-дизайна, тестовой документации и баг-трекеров
•Опыт тестирования REST API, чтения JSON и логов, SQL на уровне выборок для проверки данных
•Базовые навыки Python для скриптов проверки и подготовки тестовых данных
•Понимание принципов работы LLM, RAG, промптов и метрик качества ИИ
•Знание Jira или Yandex Tracker, Confluence или Yandex Wiki, Git и Google Sheets
Будет плюсом
•Опыт в электронной коммерции, рознице, B2B-дистрибуции и клиентском сервисе
•Работа с платформами оркестрации LLM
•Автоматизация тестирования API и инструменты оценки LLM
•Разметка и оценка ответов модели
•CI/CD
Условия
•Проектная занятость
•Тип контракта: ГПХ, ИП
•Удалённо по РФ
•Зарплата: до 224 000 ₽
