# Ведущий инженер по качеству и оценке ИИ
Avenga — международная инженерная компания, помогающая бизнесу работать с искусственным интеллектом в основе. С более чем 6000 экспертами по всему миру мы объединяем инженерную экспертизу с мышлением, ориентированным на ИИ, чтобы превращать амбициозные идеи в реальное воздействие в различных отраслях, технологиях и рынках.
В основе роли
В Болгарии мы ищем высококвалифицированного старшего инженера по автоматизации качества (Senior AQA Engineer) для проектирования и создания автоматизированных тестовых фреймворков для приложений с искусственным интеллектом, с особым акцентом на оценку больших языковых моделей (LLM), безопасность ИИ, тестирование RAG и агентов, а также интеграцию проверок качества в CI/CD пайплайны.
Основные навыки, которые вы принесёте
•Более 5 лет опыта в области качества программного обеспечения или тестирования, с сильными навыками Python (C#/.NET будет плюсом). Вы пишете тестовые фреймворки, а не только тест-кейсы.
•Практический опыт оценки приложений на базе LLM: фреймворки оценки (например, Promptfoo, DeepEval, Ragas, Langfuse или LangSmith), создание наборов данных, проектирование судей и метрик.
•Рабочие знания архитектур RAG и агентов и понимание их сбоев: качество извлечения, ошибки вызова инструментов, циклы, галлюцинации, потеря контекста.
•Опыт проведения адверсариального или безопасностного тестирования ИИ-систем или в целом.
•Знание CI/CD и инфраструктуры как кода; уверенное выполнение тестов на одной из платформ Azure, AWS или GCP.
•Чёткое письменное оформление отчётов: вы превращаете результаты в решения.
•Свободное владение английским языком.
Желательные навыки
•Знакомство с Регламентом ЕС по ИИ (EU AI Act), ISO/IEC 42001 или NIST AI RMF.
•Тестирование производительности и нагрузки сервисов на базе LLM.
•Бенчмаркинг моделей с открытыми весами.
•Опыт работы в регулируемых отраслях или в клиентском взаимодействии.
Влияние, которое вы создадите
•Проектировать и владеть стратегией автоматизированного тестирования платформы: юнит-тесты, интеграционные, контрактные, end-to-end и нагрузочные тесты, интегрированные в CI/CD.
•Создавать и поддерживать наборы для оценки: наборы данных, оценщики на основе правил и LLM в роли судьи, а также регрессионные тесты, которые запускаются при каждом изменении промпта, модели или инструмента.
•Оценивать новые модели и инструменты по критериям качества, безопасности, задержки и стоимости перед их использованием.
•Проводить адверсариальное тестирование ИИ-контролей: инъекции промптов, jailbreak, утечки данных и неправильное использование инструментов. Поддерживать актуальность набора red-team тестов и предоставлять отчёты с указанием серьёзности и шагов воспроизведения.
•Определять контрольные точки качества и критерии релиза, а также делать качество видимым на дашбордах.
•Мониторить качество ИИ в продакшене и поднимать оповещения при ухудшении поведения.
•Предоставлять чёткие доказательства качества для обзоров безопасности, требований по управлению ИИ и клиентов.
•Обучать инженеров тестируемому дизайну и проверять их покрытие тестами и оценками.
Что поддержит ваш путь
Наши преимущества включают частное медицинское страхование, программы благополучия, гибкий и гибридный режим работы, ноутбуки и оборудование, возможности обучения, социальные мероприятия, отличные офисы и многое другое.
