Вакансия: QA Engineer ИИ-решений
Компания: Kokoc Tech
Грейд: Middle
Занятость: Проектная, долгосрочный проект (Фултайм)
Формат: Удаленно по РФ
Локация: Строго Москва, Саранск
Оформление: ГПХ, ИП
Вилка: До 1400р в час гросс
Важно: Не смотрим кандидатов с проектами Лимана, Петрович Тех, ВБ, Озон, Лента Тех, Яндекс маркет, М. Видео за последние 6 месяцев.
Проект: Специалист привлекается для поддержки AI-команды (RnD AI Team), которая реализует портфель ИИ-инициатив для бизнес-подразделений компании на внутренней платформе Dify (LLM-агенты, RAG, классификация, извлечение данных из документов, интеграции через API/MCP). Портфель — ~200 инициатив, одновременно в работе 10–15.
Задачи:
1.Подготовка тест-кейсов на основании требований и критериев приемки инициатив;
2.Функциональное и интеграционное тестирование ИИ-агентов, workflow на платформе Dify, API-интеграций со внутренними системами;
3.Проверка позитивных, негативных и пограничных сценариев, включая нетипичные запросы пользователей и «галлюцинации» модели;
4.Регрессионное тестирование после изменений промптов, моделей, базы знаний (RAG) и интеграций;
5.Проверка соответствия результата согласованным требованиям и метрикам качества;
6.Формирование и поддержание тестовых выборок (golden set) совместно с бизнесом и ML-командой, участие в оценке качества ответов;
7.Фиксация дефектов, контроль их устранения, отчётность по качеству релизов;
8.Проведение приемочного тестирования перед выпуском в production и участие в приемке с бизнесом.
Требования:
Общий опыт работы: От 3 лет в тестировании ПО.
Опыт по требуемому стеку/направлению: От 1 года тестирования продуктов на основе ML/LLM или тестирования API и интеграций backend-сервисов; понимание специфики недетерминированных ответов модели.
Релевантный проектный опыт: Не менее 2 проектов тестирования интеграционных / API-решений или ИИ-продуктов с выводом в промышленную эксплуатацию; опыт построения регрессионных наборов и тестовых выборок.
Отраслевой опыт: Желательно: e-commerce, ритейл, B2B-дистрибуция, клиентский сервис.
Обязательные технологии/инструменты:
•Тест-дизайн, тестовая документация, работа с баг-трекером;
•Тестирование REST API (Postman или аналоги), чтение JSON, логов;
•SQL на уровне выборок для проверки данных;
•Python на базовом уровне для скриптов проверки и подготовки тестовых данных;
•Понимание принципов работы LLM, RAG, промптов и метрик качества ИИ (точность, полнота, оценка ответов по критериям).
Желательные технологии/инструменты:
•Опыт работы с платформами оркестрации LLM (Dify, LangChain и т.п.);
•Автоматизация тестирования API (pytest, requests) и LLM-eval инструменты (RAGAS, DeepEval, promptfoo или аналоги);
•Опыт разметки и оценки ответов модели (LLM-as-a-judge, ручная оценка по рубрикам);
•CI/CD, Git на базовом уровне.
Системы учета задач и документации: Jira / Yandex Tracker, Confluence / Yandex Wiki, Git, реестр ИИ-инициатив в Google Sheets.
