Описание
Мы развиваем внутренние цифровые продукты, которые помогают сотрудникам получать информацию, решать рабочие задачи и эффективнее взаимодействовать с сервисами банка. В числе наших продуктов — Раф, диалоговый агент-ассистент сотрудника, внутренний поиск и другие пользовательские сценарии. Все они создают данные, на основе которых можно измерять качество продуктов, лучше понимать поведение сотрудников и находить новые задачи, которые Insider может помогать решать.
Задачи
•Развивать систему оценки качества продуктов Insider (диалогового агента, поиска и других пользовательских сценариев).
•Определять измеримые критерии качества и переводить продуктовые ожидания в метрики, тестовые наборы и процедуры оценки.
•Организовывать сбор и подготовку данных из продуктовых событий, поисковых запросов, диалогов, действий агента, пользовательской обратной связи и экспертной разметки.
•Строить offline- и online-пайплайны расчета метрик, обеспечивать их воспроизводимость и сопоставимость между версиями продукта.
•Оценивать качество ответов и действий AI-агента (корректность, релевантность, выбор инструментов и успешность выполнения пользовательской задачи).
•Исследовать качество поиска (релевантность результатов, успешность поисковых сессий, переформулировки запросов, запросы без результатов и другие сигналы).
•Разрабатывать модели классификации, кластеризации, ранжирования, поиска аномалий и прогнозирования пользовательского поведения.
•Анализировать последовательности пользовательских действий, выделять типовые сценарии и сегменты пользователей.
•Находить неудовлетворенные потребности и новые jobs-to-be-done, которые могут стать основой для развития продуктов Insider.
•Разрабатывать автоматические модели оценки качества и классификации ошибок.
•Формировать эталонные и диагностические выборки, проектировать разметку и контролировать качество данных.
•Проводить анализ ошибок, находить причины изменения метрик и определять сценарии, требующие улучшения.
•Оценивать продуктовые и модельные изменения с помощью экспериментов, статистических методов и A/B-тестов.
•Создавать мониторинг качества после запуска (отслеживать деградации, изменения пользовательского поведения и появление новых классов ошибок).
•Интегрировать модели, метрики и пайплайны обработки данных в продуктовую и инженерную инфраструктуру команды.
•Вместе с Product Owner, аналитиками и инженерами формулировать гипотезы, определять критерии успеха и интерпретировать результаты исследований.
Требования
•Коммерческий опыт работы ML Engineer или Data Scientist над прикладными ML-задачами.
•Уверенное знание классического машинного обучения (классификация, регрессия, кластеризация, ранжирование, методы отбора признаков и оценка моделей).
•Понимание статистики, дизайна экспериментов, доверительных интервалов и принципов A/B-тестирования.
•Опыт разработки метрик, тестовых наборов и пайплайнов оценки качества ML-систем.
•Опыт анализа продуктовых событий, пользовательских сценариев, логов или поискового поведения.
•Умение проводить анализ ошибок, выявлять смещения в данных и оценивать качество моделей по отдельным сегментам.
•Уверенное владение Python и основными библиотеками для анализа данных и машинного обучения.
•Знание SQL и опыт работы с большими наборами данных.
•Умение писать поддерживаемый и воспроизводимый код и покрывать критичную логику тестами.
•Опыт интеграции моделей или ML-пайплайнов в продуктовую среду.
•Умение понятно объяснять выбор метрик, ограничения оценки и результаты экспериментов инженерам и продуктовым партнерам.
•Интерес к исследованию пользовательского поведения и поиску новых продуктовых возможностей на основе данных.
Будет плюсом
•Опыт работы с поисковыми или рекомендательными системами, ранжированием, OpenSearch, векторным или гибридным поиском.
•Опыт оценки диалоговых систем, LLM-приложений, RAG или AI-агентов.
•Понимание специфики оценки агентных систем (качество отдельных действий, выбор инструментов, траектория выполнения и итоговый результат).
•Опыт построения автоматических оценщиков, включая ML-классификаторы и LLM-as-a-judge, а также проверки их согласованности с экспертной оценкой.
•Опыт построения моделей пользовательского поведения, сегментации, анализа последовательностей действий или выявления пользовательских намерений.
•Опыт организации экспертной разметки и оценки согласованности разметчиков.
•Опыт работы с MLOps (версионирование данных и моделей, воспроизводимые эксперименты, развертывание и мониторинг).
•Базовое понимание production-разработки, API, контейнеризации и облачной инфраструктуры.
Условия
•Возможность работать из офиса или удаленно.
•ДМС со стоматологией, массажем, телемедициной, ежегодными чекапами, которое работает как в Москве, так и в регионах.
•Три оплачиваемых отгула в год.
•Страхование жизни в путешествиях, от несчастных случаев, болезней и критических заболеваний.
•Бесплатные индивидуальные консультации психологов, юристов, экспертов по личным финансам и консультантов по здоровому образу жизни.
•Поддержку опытного наставника, обучающие курсы для комфортной адаптации, помощь в развитии экспертизы со стороны профессиональных сообществ банка.
•Собственную ИТ-академию, участие в конференциях.
•Льготные условия по банковским продуктам и услугам.
•Скидки от партнеров банка в приложении PrimeZone в сферах здоровья, развлечений, творчества и интернет-покупок.
