Описание
Привет! Мы компания Techno Diasoft - аккредитованная IT компания, созданная в 2008 году. Специализируемся на разработке высоконагруженных FinTech проектах, создании умных устройств, голосовых ассистентов, а также разработке инновационных решений в области биометрии и искусственного интеллекта. Флагманским продуктом компании является автоматизированная банковская система xBank. Сейчас мы в поиске тестировщика, который присоединится к одному из наших актуальных проектов.
Задачи
•Интеграционное тестирование: REST/gRPC, Kafka (очереди, статусы, повторная обработка), валидация данных между сервисами и базой данных.
•Регресс и релиз: участие в подготовке к релизу, проведение функционального и регрессионного тестирования продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции).
•Покрытие сценариев тестами: разработка и поддержка наборов тестовых сценариев, включая наборы для оценки качества ответов моделей (evaluation datasets, golden sets).
•Валидация LLM‑ответов и пайплайнов: проверка релевантности, галлюцинаций, заземлённости (grounding) и согласованности ответов, соответствие формату (structured output / JSON schema).
•Безопасность и соответствие: проверка на утечки чувствительной информации, валидация входных данных, контроль уязвимостей в зависимостях, соответствие внутренним политикам.
•Работа с промптами: тестирование промптов на устойчивость к вариациям формулировок, adversarial‑запросы, проверка поведения при «краевых» и «токсичных» запросах.
•Тестирование агентных сценариев: проверка логики Human‑in‑the‑loop, обработки таймаутов и повторных попыток.
•Проверка качества данных и RAG: валидация корпуса, метрик поиска (точность, полнота), проверка сценариев «нет релевантных документов», «шумные документы», «неоднозначные запросы».
Требования
•Опыт в тестировании веб-сервисов (frontend + backend) от 2-3 лет (manual + auto).
•Уверенное тестирование API (REST/gRPC), WebSocket, очередей, микросервисной архитектуры.
•Понимание SDLC, STLC и практик CI/CD, умение встраивать качество в производственный процесс.
•Понимание клиент-серверной и микросервисной архитектуры, а также retry, eventual consistency, идемпотентности и асинхронных процессов.
•Уверенное владение SQL, опыт написания запросов и валидации данных в базе данных (PostgreSQL или аналогами).
•Работа с системами трассировки и мониторинга (OpenTracing/OpenTelemetry, Grafana, Prometheus), понимание логов и алертов.
•Умение самостоятельно работать в условиях высокой неопределённости.
•Умение наладить эффективную коммуникацию и взаимодействие с коллегами.
•Понимание основ промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, работа с системными промптами.
•Умение проектировать тестовые сценарии под неопределённость и вариативность ответов LLM.
•Понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации.
•Опыт работы с таск-трекерами (Jira или аналогами).
•Понимание принципов работы LLM и агентных систем: Tool‑use, мультиагентные сценарии (Plan‑and‑Execute, Reflection, Handoff), RAG.
•Понимание базовых метрик качества LLM: точность, полнота, F1, BLEU/ROUGE (или альтернативные метрики), умение интерпретировать результаты.
Будет плюсом
•Опыт тестирования безопасности LLM: prompt injection, jailbreaks, утечки данных.
•Опыт тестирования RAG‑систем: оценка качества поиска, подбор метрик, работа с эмбеддингами.
•Практический опыт валидации LLM‑ответов: ручная разметка, сравнение моделей, A/B‑сравнение.
•Понимание MCP‑протокола и MCP‑сервера, тестирование агентных инструментов.
•Опыт работы с Kubernetes, Docker, Helm, CI/CD (GitLab CI, Jenkins).
•Навыки автоматизации тестирования на Python с применением AI-инструментов.
Условия
Условий в вакансии нет.
