О проекте
Мы помогаем государству проводить disrupt госуправления через внедрение AI/GenAI и ускорять национальное развитие AI/GenAI, организуем одно из крупнейших в мире профильных мероприятий – AIJourney, объединяем бизнес, государство и международное научное сообщество, чтобы обеспечить GenAI-трансформацию страны.
Обязанности
•Строить и развивать систему оценки качества LLM, RAG и агентов: тестовые наборы, метрики, автоматические прогоны, отчёты
•Проводить регрессионное тестирование в CI при смене моделей, промптов и настроек, контролировать качество перед релизами и показами
•Оценивать агентов по траекториям: успешность задач, ошибки вызова инструментов, лишние шаги
•Калибровать автоматическую оценку (LLM-as-a-judge) против экспертной разметки
•Строить пайплайны обработки документов: PDF, сканы, OCR, таблицы, восстановление структуры
•Готовить датасеты для дообучения, включая синтетические данные и траектории вызова инструментов
Требования
•От 3 лет в Data Science, Data Engineering или ML, из них не менее года с LLM-проектами
•Опыт построения с нуля системы оценки качества LLM или RAG
•Знание метрик поиска (recall@k, MRR, nDCG) и метрик ответов (faithfulness, полнота, корректность)
•Опыт оценки агентных систем или многошаговых сценариев
•Прикладная статистика: доверительные интервалы, значимость различий, размер выборки
•Опыт обработки реальных документов в продакшене, включая OCR
•Python на уровне production-кода, уверенный SQL
•Оркестрация пайплайнов (Airflow, Prefect, Dagster или аналоги), версионирование данных и трекинг экспериментов (DVC, MLflow или аналоги)
Будет плюсом
•Работа с юридическими, нормативными или канцелярскими текстами на русском языке
•Классический NLP: NER, классификация, извлечение сущностей
•Опыт с русскоязычными бенчмарками
•Работа с персональными данными по 152-ФЗ
•Elasticsearch, OpenSearch, векторные базы данных
Условия
•Гибридный формат работы (м Кутузовская)
•Ежегодный пересмотр зарплаты, годовой бонус
•Корпоративный спортзал и зоны отдыха
•Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
•Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
•Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
•Подписка Прайм с возможностью совместного использования на трёх близких
•Вознаграждение за рекомендацию друзей в команду Сбера
•Корпоративная пенсионная программа
