Описание
Команда из более чем 70 человек создает технологический фундамент для внедрения GenAI в экосистему банка. Она разрабатывает RAG-платформу, фреймворк исполнения агентов и системы обработки неструктурированного контента, а также предоставляет бизнесу готовые интерфейсы для создания собственных агентов и GenAI-приложений.
Задачи
•Создавать и оптимизировать подходы к оценке качества моделей и AI-пайплайнов RAG, LLM и OCR
•Строить онлайн- и офлайн-метрики качества, писать методологии оценки для мониторинга качества и регрессионного тестирования
•Проводить эксперименты и проверять гипотезы по улучшению текущих AI-решений
•Выявлять уязвимости в качестве AI-пайплайнов и предлагать решения для устранения проблем в рабочей среде
•Проводить A/B-тестирования
•Отвечать за качество данных и методологию их подготовки для AI/ML-проектов
•Поддерживать и оптимизировать полный цикл работы с данными: сбор, хранение датасетов, разметку, автоматическую разметку с помощью LLM-as-a-judge и валидацию
•Автоматизировать циклы работы с данными: сбор данных, разметку, подсчет метрик и оценку качества
•Совместно с ML-инженерами определять требования к моделям и данным, включая состав, объем и качество датасетов
•Руководить командой аналитиков данных, менеджеров данных и разметчиков
•Собирать и анализировать бизнес-требования
•Определять применимость и ограничения AI-решений
Требования
•Применять подход на основе данных
•Уметь взаимодействовать с исследователями данных и разработчиками
•Владеть Python и SQL
•Уверенно использовать подход vibe-coding
•Понимать процесс развертывания моделей
•Понимать работу LLM и знать понятия RAG, fine-tuning, skills/tools и Data Governance
•Знать подходы к оценке качества LLM и RAG
•Знать математическую статистику
•Владеть Jira и понимать Agile
•Обладать навыками решения проблем
•Обладать системным мышлением
Будет плюсом: опыт построения процессов оценки качества GenAI, опыт работы с данными для LLM и AI-агентов, опыт управления разметчиками, опыт создания пайплайнов жизненного цикла данных, знакомство с Label Studio и Toloka, опыт работы с качеством разметки, включая consistency, honeypots и golden dataset.
Условия
•Ежегодный пересмотр зарплаты
•Годовой бонус
•Корпоративный спортзал и зоны отдыха
•Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
•Расширенный ДМС
•Льготное страхование для семьи
•Корпоративная пенсионная программа
•Льготный дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
•Подписка Прайм с возможностью совместного использования на троих близких
•Вознаграждение за рекомендацию друзей в команду Сбера
•Офис расположен у метро Кутузовская
