Описание
Описания нет
Задачи
•Разрабатывать и реализовывать стратегии оценки продуктов и функций на основе искусственного интеллекта
•Преобразовывать бизнес-требования, пользовательские сценарии и диалоговые потоки в измеримые тестовые сценарии
•Разрабатывать, поддерживать и улучшать наборы данных для оценки, бенчмарки, пакеты регрессионных тестов и повторно используемые тестовые активы
•Проводить функциональное, конверсационное, исследовательское, API- и регрессионное тестирование приложений искусственного интеллекта
•Обеспечивать охват тестированием основных пользовательских сценариев, крайних случаев, многоязычного использования, неоднозначных запросов и состязательных сценариев
•Разрабатывать критерии оценки функций искусственного интеллекта, метрики качества, шкалы оценки, критерии приемки и регрессионные критерии
•Разрабатывать детерминированные проверки, механизмы оценки и автоматизированные процессы оценки
•Проводить оценку и регрессионное тестирование после изменений промптов, моделей, поиска данных (retrieval) и контекста
•Анализировать проблемы, обнаруженные в рабочей среде, и ошибки искусственного интеллекта, разрабатывать новые регрессионные тестовые сценарии
•Отслеживать показатели качества искусственного интеллекта, выявлять регрессии и подготавливать соответствующие отчеты
•Сотрудничать с командами Applied AI Engineer, QA Engineer, Product Owner и Context Engineer, изучать проблемы и участвовать в непрерывном улучшении продуктов на основе искусственного интеллекта
Требования
•Высшее образование
•Минимум 3 года опыта работы в Software QA, Test Automation, Quality Engineering или смежных технических областях
•Знание и опыт применения принципов Software Quality Assurance, проектирования тестов и разработки тестовых стратегий
•Опыт проведения ручного или автоматизированного тестирования, включая функциональное, исследовательское, регрессионное и API-тестирование
•Знание и опыт тестирования REST API и интегрированных систем
•Знание SQL
•Базовые знания Python или другого скриптового языка
•Умение преобразовывать бизнес-требования в измеримые тестовые сценарии и критерии оценки
•Понимание характерных для систем искусственного интеллекта сценариев ошибок, таких как галлюцинации, неправильное использование инструментов, проблемы с контекстом и небезопасные ответы искусственного интеллекта
•Сильное аналитическое мышление, навыки решения проблем и внимание к деталям
•Сильные коммуникативные навыки и умение работать в команде
•Опыт работы по методологии Agile
•Высокий интерес к технологиям искусственного интеллекта и желание развиваться в области оценки ИИ
Будет плюсом:
•Опыт автоматизации тестирования
•Базовые знания Large Language Models (LLM) и технологий Generative AI
•Базовые знания Prompt Engineering и Retrieval-Augmented Generation (RAG)
•Знакомство с системами AI Agent и Tool Calling
•Базовые знания Git и CI/CD
•Опыт работы с метриками качества, дашбордами и отчетами
•Базовые знания статистического анализа и интерпретации результатов экспериментов
•Опыт работы с DeepEval, Promptfoo, RAGAS или аналогичными фреймворками оценки ИИ
•Опыт тестирования Conversational AI и систем AI Agent
•Опыт работы с модельными оценщиками, автоматизированными процессами оценки и инструментами наблюдаемости ИИ
•Базовые знания AI Safety, Robustness, Adversarial Testing и Machine Learning
Условия
Условий в вакансии нет
