Описание
Мы строим технологичную финтех-компанию ИТ Контакт: с 2019 года мы создаем современные цифровые платформы, которые позволяют упростить процессы, снизить затраты и повысить безопасность сделок, связанных с приобретением жилья. Благодаря нашей работе множество людей по всему миру смогли воплотить в жизнь мечту о собственном доме. Нас уже более 700 человек, и, в связи с активным ростом компании, мы находимся в поисках QA Engineer в нашу команду.
Задачи
•Тестировать AI-продукты и сервисы на уровнях UI, API, интеграций и сквозных бизнес-сценариев.
•Разрабатывать и поддерживать API-, интеграционные и E2E-автотесты на Python, интегрировать проверки в CI/CD.
•Тестировать AI-функциональность: качество ответов, соблюдение инструкций, корректность вызова инструментов и обработку нестандартных сценариев.
•Оценивать качество RAG-систем, готовить тестовые наборы и анализировать метрики с помощью RAGAS и других инструментов.
•Анализировать логи, данные из БД и результаты запросов для поиска и локализации дефектов.
•Участвовать в анализе требований, оценке рисков и выборе подходов к тестированию совместно с разработчиками и аналитиками.
•Развивать автоматизацию и подходы к тестированию AI-продуктов, повышать надёжность регрессионных проверок и качество изменений.
Требования
•Опыт тестирования ПО от 3 лет, включая frontend- и backend-функциональность.
•Уверенное знание теории тестирования, техник тест-дизайна и подходов к обеспечению качества ПО.
•Опыт автоматизации тестирования на Python с использованием pytest и Playwright.
•Опыт тестирования REST API, работы с OpenAPI/Swagger, проектирования и поддержки API-, интеграционных и E2E-автотестов.
•Уверенное знание SQL и принципов работы реляционных баз данных.
•Навыки анализа логов, работы с браузерными DevTools и локализации дефектов.
•Понимание принципов CI/CD и опыт интеграции автоматизированных проверок в процессы сборки и поставки ПО.
•Опыт тестирования межсервисных интеграций, распределённых систем и обработки ошибок внешних зависимостей.
•Умение самостоятельно определять объём тестирования, оценивать риски и выбирать методы проверки.
•Навыки подготовки и поддержки тестовой документации.
•Английский язык на уровне B1 или выше.
Будет плюсом
•Опыт тестирования AI-продуктов, LLM-приложений и AI-агентов.
•Понимание особенностей тестирования недетерминированных систем и оценки качества ответов AI.
•Опыт использования RAGAS для оценки RAG-систем и LLM-приложений.
•Понимание метрик Faithfulness, Answer Relevancy, Context Precision и Context Recall.
•Опыт работы с брокерами сообщений (MQ), Docker и Kubernetes.
•Опыт нагрузочного тестирования.
•Использование AI-агентов и LLM-инструментов для автоматизации тестирования и анализа дефектов.
Условия
•Аккредитованная IT-компания.
•Комфортный офис в центре Санкт-Петербурга.
•Предсказуемый график работы 5/2.
•Мультикультурная амбициозная команда.
•Общение на иностранных языках с коллегами и клиентами.
•Внутреннее комьюнити для сотрудников: кафетерий льгот для сотрудников, сообщества по интересам, участие в спортивных турнирах, благотворительные программы и т.д.
