Описание
Яндекс развивает платформу, которая позволит запускать и улучшать разные поисковые сервисы с помощью одного промпта. Аналитическая команда платформы создаёт универсальный конвейер для оценки качества ранжирования, датасетов и разметки.
Задачи
•Придумывать, как собирать из логов сервисов честные и воспроизводимые наборы данных для оценки
•Определять критерии репрезентативности датасетов и проверять, позволяют ли они различать хорошее и плохое ранжирование
•Определять, как переводить продуктовые требования в разметку и какие внешние знания нужны агентам-разметчикам
•Определять, как контролировать качество семантического слоя и обеспечивать устойчивость разметки к внешним факторам
•Определять признаки для приёмки нового ранжирования и офлайн-метрики, предсказывающие онлайн-эффект
•Строить иерархию метрик для незнакомых сервисов
•Отличать настоящее улучшение от артефакта разметки
•Извлекать идеи для будущих улучшений из реальных логов
Требования
•Уверенно писать на Python и SQL
•Разбираться в алгоритмах и структурах данных
•Знать математическую статистику и уметь проверять гипотезы
•Понимать важность анализа данных
•Иметь опыт работы с поиском или рекомендациями
•Интересоваться ML-аналитикой
•Знать, как работать с кодинг-агентами
•Уметь общаться, ясно излагать мысли, учитывать мнение коллег и убеждать
Условия
Условий в вакансии нет
