Локация
Москва, офис м. Кутузовская; заявлены работа на месте работодателя и гибридный формат.
Зарплата
До 700 000 ₽ в месяц до вычета налогов.
Компания
Сбер развивает технологический фундамент для внедрения GenAI в банковскую экосистему: RAG-платформу, фреймворк исполнения агентов и системы обработки неструктурированного контента.
Что делать
•Создавать и оптимизировать подходы к оценке качества моделей и AI-пайплайнов на базе RAG, LLM и OCR.
•Строить online/offline-метрики, методологии мониторинга качества и регрессионного тестирования.
•Проводить эксперименты, проверять гипотезы, выполнять A/B-тестирования и устранять проблемы качества в production.
•Отвечать за полный цикл работы с данными: сбор, хранение датасетов, разметку, авторазметку, валидацию и подсчёт метрик.
•Совместно с ML-инженерами определять требования к моделям и датасетам.
•Руководить командой из Data-аналитиков, Data-менеджеров и разметчиков, взаимодействуя с бизнесом и ML-инженерами.
Требования
•От 3 до 6 лет опыта и системное мышление.
•Python, SQL и уверенное использование vibe-coding.
•Понимание деплоя моделей, работы LLM, RAG, fine-tuning, skills/tools и Data Governance.
•Знание подходов к оценке качества LLM и RAG, математической статистики.
•Опыт кросс-функционального взаимодействия с Data Scientists, разработчиками и бизнесом.
•Знание Jira, Agile и развитые навыки problem-solving.
Хорошо, если есть
•Опыт построения процессов оценки качества GenAI и работы с данными для LLM и AI-агентов.
•Опыт управления разметчиками и создания data lifecycle-пайплайнов.
•Знакомство с Label Studio и Toloka.
•Опыт контроля качества разметки с использованием consistency, honeypots и golden dataset.
Культура и преимущества
•Современный офис, корпоративный спортзал и зоны отдыха.
•Ежегодный пересмотр зарплаты и годовой бонус.
•Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
•Более 400 образовательных программ СберУниверситета.
•Льготные условия ипотечного кредитования, подписка Прайм и вознаграждение за рекомендации.
