Описание
Специалист привлекается для поддержки AI-команды (RnD AI Team), реализующей портфель ИИ-инициатив для бизнес-подразделений компании на внутренней платформе Dify.
Обязанности
•Подготовка тест-кейсов на основании требований и критериев приемки инициатив;
•Функциональное и интеграционное тестирование ИИ-агентов, workflow на платформе Dify, API-интеграций со внутренними системами;
•Проверка позитивных, негативных и пограничных сценариев, включая нетипичные запросы пользователей и «галлюцинации» модели;
•Регрессионное тестирование после изменений промптов, моделей, базы знаний (RAG) и интеграций;
•Проверка соответствия результата согласованным требованиям и метрикам качества;
•Формирование и поддержание тестовых выборок (golden set) совместно с бизнесом и ML-командой, участие в оценке качества ответов;
•Фиксация дефектов, контроль их устранения, отчётность по качеству релизов;
•Проведение приемочного тестирования перед выпуском в production и участие в приемке с бизнесом.
Требования
•От 3 лет в тестировании ПО.
•От 1 года тестирования продуктов на основе ML/LLM или тестирования API и интеграций backend-сервисов; понимание специфики недетерминированных ответов модели.
•Не менее 2 проектов тестирования интеграционных / API-решений или ИИ-продуктов с выводом в промышленную эксплуатацию; опыт построения регрессионных наборов и тестовых выборок.
•Желательно: e-commerce, ритейл, B2B-дистрибуция, клиентский сервис.
•Тест-дизайн, тестовая документация, работа с баг-трекером;
•Тестирование REST API (Postman или аналоги), чтение JSON, логов;
•SQL на уровне выборок для проверки данных;
•Python на базовом уровне для скриптов проверки и подготовки тестовых данных;
•Понимание принципов работы LLM, RAG, промптов и метрик качества ИИ.
Будет преимуществом
•Опыт работы с платформами оркестрации LLM (Dify, LangChain и т.п.);
•Автоматизация тестирования API (pytest, requests) и LLM-eval инструменты (RAGAS, DeepEval, promptfoo или аналоги);
•Опыт разметки и оценки ответов модели (LLM-as-a-judge, ручная оценка по рубрикам);
•CI/CD, Git на базовом уровне.
Условия
•Проектная, долгосрочный проект (Фултайм).
•Удаленно по РФ.
•Локация: строго Москва, Саранск.
•Оформление: ГПХ, ИП.
•Вилка: до 1400р в час гросс.
