Локация и формат
Москва, Кутузовский проспект, 32. Формат работы: гибридный.
Зарплата
До 200 000 ₽ в месяц до вычета налогов.
Компания
Аккредитованная IT-компания Techno Diasoft, созданная в 2008 году, разрабатывает высоконагруженные FinTech-проекты, умные устройства, голосовых ассистентов, биометрические и AI-решения. Флагманский продукт — автоматизированная банковская система xBank.
Что делать
•Проводить интеграционное тестирование REST/gRPC, Kafka, микросервисов и взаимодействия сервисов с базой данных.
•Выполнять функциональное и регрессионное тестирование веб-интерфейсов, API и интеграций с LLM-компонентами.
•Разрабатывать и поддерживать тестовые сценарии, evaluation datasets и golden sets для оценки качества ответов моделей.
•Проверять релевантность, отсутствие галлюцинаций, заземлённость, согласованность и соответствие структурированному формату LLM-ответов.
•Тестировать промпты, adversarial-запросы, токсичные и краевые сценарии, а также безопасность и защиту от утечек данных.
•Проверять агентные сценарии, Human-in-the-loop, таймауты, повторные попытки и качество RAG-пайплайнов.
Требования
•От 2–3 лет опыта тестирования веб-сервисов, включая manual и automation testing.
•Уверенное тестирование REST/gRPC, WebSocket, очередей, микросервисной архитектуры и асинхронных процессов.
•Уверенное владение SQL и опыт валидации данных в PostgreSQL или аналогичных базах данных.
•Понимание SDLC, STLC, CI/CD, retry, eventual consistency и идемпотентности.
•Опыт работы с OpenTracing/OpenTelemetry, Grafana, Prometheus, логами и алертами.
•Понимание промпт-инжиниринга, специфики LLM, вариативности ответов, галлюцинаций, ограничений контекста и параметров генерации.
Хорошо, если есть
•Понимание LLM и агентных систем: Tool-use, мультиагентные сценарии, Plan-and-Execute, Reflection, Handoff и RAG.
•Знание метрик качества LLM: точность, полнота, F1, BLEU/ROUGE и альтернативные метрики.
•Опыт тестирования безопасности LLM, prompt injection, jailbreaks, утечек данных и RAG-систем.
•Понимание MCP-протокола и MCP-серверов, опыт тестирования агентных инструментов.
•Опыт с Kubernetes, Docker, Helm, GitLab CI, Jenkins и автоматизацией тестирования на Python.
Культура и преимущества
•Работа над FinTech-, AI- и агентными проектами для банковских и финансовых компаний.
•Взаимодействие с коллегами в условиях высокой неопределённости и развития инновационных продуктов.
•Гибридный формат работы в Москве.
•Полная занятость в аккредитованной IT-компании.
