# Локация
Москва, Россия; гибридный формат с работой в офисе
Компания
Яндекс развивает AI-сервисы и LLM-агентов для финансовых сценариев в Яндекс Финтехе.
Что делать
•Определять критерии и разрабатывать метрики качества для AI-сценариев и агентских решений.
•Собирать оценочные наборы из типичных запросов, сложных случаев и найденных ошибок.
•Готовить инструкции для разметчиков, разбирать спорные оценки и проверять согласованность разметки.
•Сравнивать версии моделей, промптов и агентских сценариев, проверять статистическую значимость и находить ухудшения на отдельных группах запросов.
•Исследовать причины ошибок в моделях, контексте, поиске информации и работе инструментов.
•Предлагать улучшения вместе с разработчиками и экспертами и сопоставлять офлайн-оценку с пользовательским поведением и продуктовыми метриками.
Требования
•От 3 лет опыта.
•Python для анализа данных и автоматизации задач.
•SQL для написания запросов.
•Знание методов математической статистики и умение корректно интерпретировать эксперименты.
•Готовность исследовать текстовые данные, разбирать отдельные примеры и находить системные проблемы.
•Интерес к AI-инструментам и LLM-моделям, включая анализ причин их ошибок.
Культура и преимущества
•Работа на стыке аналитики, машинного обучения и продукта.
•Взаимодействие с разработчиками и экспертами предметной области.
•Гибридный формат работы с офисом в Москве.
