Описание
Наша команда (70+ человек) создает технологический фундамент для внедрения GenAI в экосистему банка. Мы разрабатываем RAG-платформу, фреймворк исполнения агентов и системы обработки неструктурированного контента (документы, коммуникации). Наши сервисы оборачивают базовые LLM в готовые интерфейсы, позволяя бизнесу быстро создавать собственных агентов и GenAI-приложения. Мы обеспечиваем полный цикл разработки (E2E).
Мы в поиске играющего тренера — руководителя направления анализа и подготовки данных для AI. Команда 5 человек.
Задачи
•Создавать и оптимизировать подходы к оценке качества моделей и AI-пайплайнов (RAG, LLM, OCR)
•Построение online/offline метрик качества, написание методологий оценки для мониторинга качества и регрессионного тестирования
•Проводить эксперименты, проверять гипотезы по улучшению текущих AI-решений
•Выявлять уязвимости в качестве в AI-пайплайнах и оперативно предлагать решения для устранения проблем в production (проводить A/B-тестирования)
•Отвечать за качество данных и методологию их подготовки для AI/ML-проектов
•Поддержка и оптимизация полного цикла работы с данными: сбор, хранение датасетов, разметка, авто-разметка (LLM-as-a-judge), валидация
•Автоматизация data-циклов: сбор данных, разметка, подсчет метрик, оценка качества
•Совместно с ML-инженерами определять требования к моделям и к данным (состав, объем и качество датасетов)
•Руководить командой Data-аналитиков, Data-менеджеров, разметчиков
•Говорить на одном языке с «бизнесом» и ML-инженерами: сбор и анализ бизнес-требований, понимание применимости и ограничений AI
Требования
•Любить data-driven подход
•Кросс-функциональное умение разговаривать с DS и разработчиками
•Python, SQL, уверенный vibe-coding
•Понимание процесса деплоя моделей
•Понимание работы LLM и знание понятий типа RAG, fine tuning, skills/tools, Data Governance
•Знание подходов по оценке качества LLM, RAG
•Знание матстата
•Jira, agile и т.д.
•Soft skills (уверенный problem-solving)
•Системное мышление
Будет плюсом:
•Опыт построения процессов по оценке качества GenAI
•Опыт работы с данными для LLM и AI-агентов
•Опыт управления разметчиками
•Опыт создания пайплайнов data lifecycle
•Знакомство с LabelStudio, Toloka
•Опыт работы с качеством разметки (consistency, honeypots, golden dataset)
Условия
•Комфортный современный офис — м. Кутузовская
•Гибридный формат работы
•Ежегодный пересмотр зарплаты, годовой бонус
•Корпоративный спортзал и зоны отдыха
•Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
•Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
•Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
•Подписка Прайм с возможностью совместного использования на трёх близких
•Вознаграждение за рекомендацию друзей в команду Сбера
•Корпоративная пенсионная программа
