Описание
Мы ищем AI Security Engineer для оценки кибербезопасности и безопасности передовых AI-моделей. Роль будет сосредоточена на разработке внутренних киберпровах (benchmarks) и тестировании того, насколько хорошо защитные механизмы моделей (guardrails) отказывают в выполнении запросов, связанных с кибератаками. Эта работа будет влиять на то, как компания оценивает и безопасно внедряет AI-модели в масштабах всего предприятия.
Задачи
•Разрабатывать, создавать и поддерживать внутренние бенчмарки, измеряющие киберспособности передовых моделей.
•Разрабатывать и запускать тестовые наборы, измеряющие процент отказов моделей на запросы, нарушающие политику (включая адверсариальные и jailbreak-промпты).
•Поддерживать датасеты для оценки, методы скоринга и инструментарий так, чтобы тесты можно было повторять для разных версий моделей и вендоров.
•Сотрудничать с внутренними командами и стейкхолдерами (Model Risk Management, governance, технологические команды) для понимания потребностей в оценке и поддержки безопасного внедрения AI.
•Понятно сообщать результаты техническим и нетехническим аудиториям через отчёты, дашборды и презентации, включая практические рекомендации.
Результаты работы
•Набор внутренних киберобенчмарков, измеряющих возможности передовых моделей по определённым задачам безопасности, с документированной методологией и критериями оценки.
•Повторяемый фреймворк тестирования guardrails, измеряющий реакцию моделей на кибер-задачи по определённым категориям риска, подтверждая, что модели отказывают или выполняют запрос соответствующим образом в каждом случае.
•Поддерживаемая библиотека датасетов для оценки и тестовых промптов, привязанных к каждой категории риска, с версионированием для сравнения результатов во времени.
•Вспомогательный инструментарий и документация, позволяющие командам самостоятельно проводить оценки.
Требования
•Степень бакалавра или магистра в области компьютерных наук, программной инженерии, кибербезопасности, data science, искусственного интеллекта или смежной области.
Будет плюсом:
•Практический опыт в кибербезопасности в таких областях, как offensive security, penetration testing, red teaming или vulnerability research.
•Владение Python или другим языком программирования для создания тестовых харнессов, автоматизации задач и анализа результатов.
•Сильные навыки письменной коммуникации для документирования методов и результатов.
•Опыт использования и промптинга больших языковых моделей, знакомство с оценкой моделей или AI safety testing, либо выраженная заинтересованность и способность быстро разобраться, как работают эти модели и как их оценивать.
•Опыт работы с API и создания автоматизации вокруг них.
Условия
•Сотрудничество на основе B2B-контракта.
•Возможность ежедневно использовать иностранные языки и новейшие технологии.
