Описание
Описания нет
Задачи
•Разрабатывать и поддерживать стандарты тестирования LLM и AI-агентов, формировать требования QA к модельной политике банка
•Строить конвейер оценки LLM-систем, выявлять галлюцинации и утечки PII, контролировать формат ответов
•Давать заключение о готовности проекта к промышленной эксплуатации
•Внедрять мониторинг искажения данных и моделей, готовить документацию Model Card
•Проводить red-team- и adversarial-тестирование AI-агентов и систем на основе AI
•Настраивать регрессионное тестирование промптов и конвейеров при обновлении моделей
•Участвовать в проектировании архитектуры сквозных AI-конвейеров и инструментов QA с точки зрения тестируемости
•Участвовать в технической экспертизе моделей при согласовании с подразделением рисков
Требования
•Опыт тестирования и обеспечения качества AI/ML-решений: LLM, AI-агентов и конвейеров
•Понимание особенностей QA для LLM: оценка качества генерации, галлюцинации, утечки PII, контроль формата
•Практический опыт построения конвейера оценки: LLM-as-judge, автоматические метрики, ручная экспертиза
•Навыки системного анализа: умение разбирать проекты на части, описывать требования и предлагать решения
•Опыт red-team- и adversarial-тестирования
•Понимание принципов мониторинга данных и моделей
•Готовность работать с регуляторными требованиями и требованиями к рискам
•Опыт менторства и проведения технических интервью
Условия
Условий в вакансии нет
