Локация
Москва; на период испытательного срока — офисный формат работы на месте работодателя, далее возможен гибридный формат.
Компания
СБЕР разрабатывает AI-инструменты, LLM-платформу и автоматизацию на базе искусственного интеллекта.
Что делать
•Проводить функциональное и регрессионное тестирование веб-интерфейсов, API и интеграций продуктов с LLM-компонентами.
•Разрабатывать и поддерживать evaluation datasets и golden sets для оценки качества ответов моделей.
•Тестировать промпты на устойчивость к перефразированию, edge-кейсам, prompt injection и jailbreaks.
•Оценивать точность, полноту, галлюцинации и соответствие ответов structured output и JSON Schema.
•Анализировать недетерминированное поведение, воспроизводить плавающие дефекты и статистически оценивать стабильность.
•Автоматизировать проверки на Python и pytest, тестировать API-интеграции с LLM-провайдерами, вести документацию и баг-репорты, участвовать в приёмке фич и разборе дефектов с разработчиками и ML-инженерами.
Требования
•Опыт в тестировании от 5 лет, включая ручное тестирование и автоматизацию.
•Практический опыт работы с AI-инструментами, включая ChatGPT, Claude, Copilot и аналоги, на уровне рабочего инструмента.
•Понимание основ промпт-инжиниринга: структуры промпта, few-shot, chain-of-thought, SDD и работы с системными промптами.
•Уверенное тестирование API с Postman, curl или HTTP-клиентами; чтение JSON и понимание REST.
•Понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации.
•Базовый Python для автотестирования; умение писать и поддерживать тесты с pytest, requests и playwright, понимание структуры тестового проекта, фикстур и ассертов.
•Умение писать чёткие баг-репорты и тест-кейсы, включая воспроизводимые случаи некорректных ответов модели.
Хорошо, если есть
•Продвинутая автоматизация UI с Playwright или Selenium; опыт построения фреймворков с нуля.
•Опыт построения LLM-evaluation пайплайнов с promptfoo, LangSmith, Ragas или собственными фреймворками.
•Понимание RAG-архитектур.
•Опыт тестирования безопасности LLM, включая prompt injection, jailbreaks и утечки данных.
Культура и преимущества
•Полная занятость; офисный формат на период испытательного срока, затем возможен гибрид.
•Ежегодный пересмотр зарплаты.
•Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
•Более 400 образовательных программ СберУниверситета, программа адаптации и помощь руководителя на старте для Junior-позиций.
•Корпоративный спортзал, зоны отдыха, подписка СберПрайм и льготный дисконт по ипотечному кредиту.
•Вознаграждение за рекомендации кандидатов в команду Сбера.
