О роли
Т-Банк ищет сильного аналитика, который отвечает за пользу ML в продукте. Аналитик здесь главный заказчик ML-команды: ставит, какую задачу модель решает для трафика и CJM, и отвечает за то, что раскатанная модель улучшает путь клиента и экономику продукта.
Задачи
•Формулировать заказ для ML на языке продукта: какой показ, экран или шаг CJM модель должна улучшить и какая метрика это докажет
•Развивать систему A/B-тестирования доработок моделей в разных модулях СуперАппа
•Развивать мониторинг моделей на проде: качество выдачи, доля трафика под моделью, сдвиг микса показов, деградация по сегментам и расхождение офлайна с продом
•Разбирать просадку до причины: данные, фичи, смена трафика, конфликт двух моделей на одном экране, сезонность
•Вести очередь задач в ML: что даёт деньги и путь клиента, что остаётся исследованием, что пора выключать
•Фиксировать эффект каждой раскатки в общей картине распределения показов, чтобы модель не улучшала один плейсмент за счёт соседнего сценария без явного решения
Требования
•Опыт продуктовой аналитики от 4 лет, опыт с аналитикой ML от 2 лет: ранжирование, рекомендации, таргетинг или распределение трафика
•Умение быть заказчиком: понятная постановка, метрика успеха и решение «катим / не катим» без передачи этой ответственности в команду модели
•Практика A/B-тестов на проде: дизайн, мощность, пересечения, новизна, долговременный эффект
•SQL и Python, достаточные чтобы самому проверить витрину модели и дашборд мониторинга
•Понимание, где офлайн-метрика модели заканчивается и начинается продуктовая: CTR, конверсия шага CJM, доходность показа
Будет плюсом
•Опыт в суперапе или маркетплейсе, где несколько моделей делят одни и те же показы
•Построение контура мониторинга: алерты на деградацию, срезы по экранам и сегментам, регулярный разбор с ML
•Умение сравнивать модель с простым правилом и оставлять правило, если оно даёт тот же эффект на CJM
Как выглядит сильный результат через полгода
У ML есть короткий список задач от продукта, и каждая раскатка проходит через один и тот же контур теста. По боевым моделям видно, живы ли они и какой эффект держат на пути клиента и на деньгах показов.
