Перфоманс Лаб

Инженер по тестированию LLM-приложений

Коротко

Инженер по тестированию LLM-приложений и AI-агентов, включая оценку качества ответов моделей подходом LLM-as-a-Judge. Компания специализируется на тестировании и обеспечении качества IT-продуктов. Требуется опыт функционального, интеграционного, регрессионного и API-тестирования, разработки автотестов, а также понимание нагрузочного тестирования и TLS/SSL. Формат работы — гибрид в Москве.

О компании
Перфоманс Лаб – эксперт в области тестирования и обеспечения качества. На рынке с 2008. Тестируем IT-продукты и повышаем их качество. Занимаемся этим более пятнадцати лет и очень любим свое дело!
Всегда находимся в поиске эффективных решений, лучших методик и профессионалов, которые умеют стратегически мыслить и идти к общей цели. У нас ты можешь развиваться в разных направлениях, изучать новые инструменты и прокачивать свои навыки.
Формат работы: удаленно (Москва, Московская область)
Чем предстоит заниматься
•разрабатывать и поддерживать методологию тестирования LLM-приложений;
•тестировать качество ответов моделей, в том числе с использованием подхода LLM-as-a-Judge;
•проверять сценарии работы AI-агентов и выявлять ошибки в их поведении;
•разрабатывать, поддерживать и запускать автотесты;
•проводить функциональное, интеграционное и регрессионное тестирование веб- и API-сервисов;
•тестировать REST API и web-вызовы, анализировать HTTP-запросы и ответы;
•проводить нагрузочное и производительное тестирование;
•работать с TLS/SSL-сертификатами, цепочками доверия и защищённым взаимодействием сервисов.
Кого мы ищем
•практический опыт тестирования LLM-приложений или AI-агентов;
•понимание подходов к оценке качества ответов LLM и опыт применения LLM-as-a-Judge будет большим преимуществом;
•опыт API-тестирования: REST, HTTP, анализ запросов и ответов;
•опыт разработки и поддержки автотестов;
•опыт функционального, интеграционного и регрессионного тестирования;
•понимание принципов нагрузочного и производительного тестирования;
•понимание TLS/SSL и принципов защищённого взаимодействия сервисов;
•язык программирования для автоматизации — любой.
Что мы предлагаем
•Белая зарплата, трудоустройство по ТК РФ, 31 день оплачиваемого отпуска в год;
•ИПР – Индивидуальный план развития для каждого сотрудника;
•Добровольный ДМС (50% оплата от компании);
•Корпоративные внутренние курсы: автоматизация тестирования на Java, нагрузочное тестирование;
•Частичная компенсация пройденных курсов на различных платформах;
•Добровольная международная сертификация ISTQB с компенсацией от компании;
•Корпоративные занятия английским языком;
•Оборудование от компании;
•Реферальная программа "Приведи друга";
•Дружный коллектив, лояльное руководство :)

Хватит откликаться.
Получите рекомендацию.

$10 стартовых кредитов

Всего 60 секунд, полностью на автопилоте — AI-агенты Eraldt читают ваше резюме, определяют подходящие роли, находят живые вакансии и людей, которые могут вас порекомендовать, пишут им личные письма и добиваются рекомендации.

Это не отклик на вакансию: резюме не уходит в компанию, а рекомендацию именно по этой роли мы не обещаем.

Посмотрите, кто ещё получает интервью на автопилоте

Похожие вакансии