Локация
Алматы, проспект Аль-Фараби, 38; гибридный формат работы
Компания
Банк ЦентрКредит развивает AI-решения для ключевых банковских процессов.
Что делать
•Разрабатывать и поддерживать стандарты тестирования LLM и AI-агентов, а также требования QA к модельной политике банка.
•Строить pipeline оценки LLM-систем с использованием LLM-as-judge, автоматических метрик, проверки галлюцинаций, PII-утечек и формата ответов.
•Проводить red-team и adversarial-тестирование AI-агентов и AI-based систем.
•Настраивать регрессионное тестирование промптов и пайплайнов при обновлении моделей.
•Внедрять мониторинг искажения данных и моделей, готовить Model Card и заключения о готовности проектов к промышленной эксплуатации.
•Участвовать в проектировании end-to-end AI-пайплайнов и QA-инструментов, а также взаимодействовать с разработчиками, стейкхолдерами и риск-подразделением.
Требования
•От 3 до 6 лет опыта.
•Опыт тестирования и обеспечения качества AI/ML-решений, включая LLM, AI-агентов и пайплайны.
•Практический опыт построения pipeline оценки с использованием LLM-as-judge, автоматических метрик и ручной экспертизы.
•Понимание оценки качества генерации, обнаружения галлюцинаций, PII-утечек и контроля формата ответов.
•Опыт red-team и adversarial-тестирования, мониторинга данных и моделей.
•Навыки системного анализа, готовность работать с регуляторными и риск-требованиями, опыт менторства и проведения технических интервью.
Культура и преимущества
•Гибридный формат работы в Алматы.
•Прямое взаимодействие с разработчиками, стейкхолдерами и риск-подразделением.
•Возможность участвовать в развитии стандартов QA для AI-решений банка.
