Описание
Dwelly цифровизирует и оптимизирует аренду квартир в Великобритании. Компания разрабатывает продукт с автономными AI-агентами, которые управляют процессами работы с недвижимостью — от взимания платежей до решения проблем арендаторов.
Задачи
•Исследовать, оценивать и улучшать работу автономных AI-агентов
•Определять, как измерять качество работы агента и улучшать его
•Выбирать офлайн-метрики для оценки новых версий агента до запуска в прод
•Определять размер эвал-сета, необходимый для надёжного сравнения версий
•Собирать эвал-сеты, отражающие реальные сценарии, включая редкие и сложные случаи
•Оценивать покрытие и прогностическую точность симуляций с участием LLM
•Сравнивать оценки LLM-as-a-judge с человеческой разметкой и выявлять систематические ошибки
•Анализировать обоснованность передачи задач человеку и случаи, когда агент не позвал человека при необходимости
•Изучать частоту и стоимость ошибок агента, определять приоритеты улучшений промптов, инструментов, данных и процессов
•Анализировать коммуникационные воронки и сроки процессов для улучшения качества сервиса
•Определять показатели качества поставщиков и причины задержек
•Анализировать вмешательство человека в автономные процессы, в том числе при звонках клиентов
•Оценивать влияние автономности агентов на численность сотрудников и маржинальность
•Проверять, охватывают ли агенты сценарии управления недвижимостью, и выявлять работу координаторов вне системы
•Определять, нужно ли учитывать выходные и нерабочее время при расчёте сроков задач
Требования
•Уверенно применять статистику и разрабатывать эксперименты: рассчитывать доверительные интервалы и мощность, сравнивать версии на небольших выборках
•Понимать, как могут давать сбои системы на основе LLM, и быть готовым глубоко разбираться в оценке агентов
•Владеть английским для рабочей коммуникации
•Не подходит удалённая работа из РФ и Беларуси
•Будет плюсом опыт работы с эвалами, LLM-as-a-judge или симуляциями
Условия
•Платят рыночно в фунтах, долларах или евро; необходимо уметь принимать платежи в валюте
•Для успешных кандидатов могут оформить рабочую визу в Великобританию или одну из стран ЕС через Deel
