Описание
Разрабатываются системы безопасности и контроля для LLM и генеративных AI-моделей, которые помогают предотвращать нежелательное поведение моделей, токсичный контент, jailbreak-атаки, утечки данных и нарушения политик, сохраняя полезность и качество ответов.
Задачи
•Разрабатывать и улучшать компоненты AI Guardrails: фильтры контента, системы выявления токсичности, bias, PII, jailbreak-попыток, prompt injection и других рисков
•Интегрировать и дообучать модели классификации и модерации
•Проектировать и реализовывать конвейеры предварительной и последующей обработки для LLM: фильтрацию входных и выходных данных, переписывание, механизмы отказа
•Создавать и поддерживать системы оценки: бенчмарки, red-teaming, adversarial-тестирование, метрики безопасности и устойчивости
•Работать с LLM API и моделями с открытым исходным кодом, оптимизировать задержку и качество защитных механизмов
•Участвовать в разработке политик безопасности и документировать решения
•Анализировать инциденты, улучшать покрытие крайних случаев и снижать количество ложноположительных и ложноотрицательных результатов
Требования
•От 2–4 лет коммерческого опыта в ML/AI-разработке на Python
•Опыт работы с LLM: OpenAI, Anthropic, Llama, Mistral, Qwen или аналогами
•Практический опыт создания систем модерации, безопасности контента, защитных механизмов или решения похожих задач
•Хорошее знание NLP: классификации текста, embeddings, дообучения и оценки моделей
•Опыт работы с PyTorch, Hugging Face Transformers, LangChain, LlamaIndex или аналогичными фреймворками
•Понимание основных угроз для LLM: jailbreak-атак, prompt injection, утечек данных и рисков галлюцинаций
•Умение писать чистый, тестируемый код и работать с CI/CD и Docker
•Самостоятельность и ответственность за выполнение задач от исследования до production
•Навыки работы с генеративными AI-моделями
•Английский на уровне чтения документации
Будет плюсом: опыт red-teaming, adversarial ML и оценки безопасности, знание техник выравнивания моделей и бенчмарков безопасности, опыт работы с vector DB, RAG-конвейерами и их безопасностью, знание мультимодальных защитных механизмов, опыт развёртывания ML-систем в production.
Условия
•Годовой бонус и ежегодный пересмотр зарплаты
•Статус аккредитованной ИТ-компании
•Расширенный ДМС с первого дня и льготное страхование для семьи
•Корпоративный университет Сбера, внутренняя образовательная платформа и участие в IT-конференциях
•90 дней удалённой работы из любого региона РФ
•Льготная ипотека в Сбере
•Бесплатная подписка СберПрайм, которой можно поделиться с тремя близкими
