Локация и график
Москва, Ленинградский проспект, 35с1; работа на месте работодателя или в гибридном формате, который обсуждается индивидуально. График: 5/2, с 09:00 до 18:00.
Компания
РТК-ЦОД реализует крупные проекты, связанные с ИИ-решениями и их качеством.
Что делать
•Развивать EvalOps: автоматизированные прогоны, регрессионные проверки и интеграцию контроля качества в CI/CD.
•Готовить эталонные выборки, разрабатывать детерминированные проверки совместно с экспертами и настраивать LLM-as-a-Judge.
•Анализировать агентские трассы, находить источники ошибок, воспроизводить и проверять дефекты.
•Проверять tool calling, параметры инструментов, обработку ошибок и устойчивость к prompt injection.
•Контролировать регрессии после запуска и принимать решения об откате релизов.
•Разрабатывать автотесты на Python с использованием pytest, httpx и asyncio.
Требования
•От 1 года до 3 лет опыта.
•Уверенное владение Python для разработки автотестов и обработки результатов, включая pytest, httpx и asyncio; знание SQL.
•Практический опыт тестирования LLM и агентских систем, разработки эталонных выборок и автоматизированных проверок.
•Понимание работы LLM, управления контекстом, tool calling, skills и MCP; умение оценивать полный сценарий выполнения задачи, включая действия и итоговые артефакты.
•Знание тест-дизайна, негативных и граничных сценариев; понимание вариативности ответов, повторных прогонов и сопоставимых условий сравнения.
•Умение сочетать детерминированные проверки и LLM-as-a-Judge, оценивать качество самого оценщика и разбирать ошибки валидаторов.
•Практический опыт разработки автоматизированных проверок с использованием ИИ-агентов через SDD и TDD, включая проверку предлагаемых агентом изменений.
•Опыт работы с Git, GitLab CI и Docker, интеграции проверок качества в CI/CD.
•Умение формулировать критерии допуска, документировать результаты и обосновывать решения о выпуске, блокировке или откате перед разработчиками и бизнес-заказчиками.
Хорошо, если есть
•Опыт работы с Langfuse, анализа агентских трасс и тестирования устойчивости к prompt injection.
Культура и преимущества
•Стабильный официальный доход и полноценный социальный пакет.
•Корпоративный университет для внутреннего и внешнего профильного обучения.
•Программа ДМС с обслуживанием в клиниках Москвы.
•Корпоративные спортивные команды, скидки на фитнес-абонементы и программа привилегий Primezone.
•Корпоративная мобильная связь и возможности горизонтального и вертикального карьерного роста.
