Описание
Stealth-mode AI-powered Cloud-Native Health-Tech компания ищет AI Call Quality Analyst. Бизнес-домен компании связан с обеспечением качественной заботы о пациентах в США — Treating Patients well. Компания основана более пяти лет назад, это не vaporware: их платформа поддерживает американские Physician Networks (IPAs), обеспечивая более умную, риск-ориентированную и предсказуемую заботу, улучшающую реальные исходы пациентов.
Задачи
•Владеть качеством AI-driven коммуникаций с пациентами — определять, что значит "хорошо", находить, где это ломается, и проводить исправления по агенту, флоу и проверкам.
•Ревьюить AI voice/chat взаимодействия и оценивать их по заданному поведенческому рубрику.
•Владеть циклом автоматических проверок и человеческого ревью; поддерживать доверие к сигналу качества.
•Превращать находки в конкретные изменения агента, диалогового флоу и тест-сьюта.
•Определять и поддерживать рубрику качества — поведенческие проверки (off-script, hallucination, resolution, emergency handling, "cringe"/странное поведение) и критерии pass/fail для них.
•Мониторить продуктовые звонки — проверять smart sample, проводить человеческую аннотацию, измерять и корректировать дрифт автоматического LLM-judge.
•Находить корневую причину и роутить каждый дефект — решать, относится ли он к промпту агента, диалоговому флоу, пайплайну данных или конфигурации телефонии.
•Драйвить исправления совместно с AI-командой — приносить приоритизированные, воспроизводимые находки инженерам, предлагать изменение промпта там, где дефект лежит в промпте, добавлять regression/autotest кейсы перед каждым релизом.
•Согласовывать изменения с бизнесом — согласовывать изменения флоу и скрипта с клиническими/операционными стейкхолдерами, балансируя опыт пациента, compliance и исходы.
•Отчитываться о качестве простым языком — тренды, дашборды, и release-readiness звонки для нетехнических стейкхолдеров.
Требования
•3+ года в QA / quality analysis клиентских коммуникаций (контакт-центр, CX или conversational AI) — мониторинг и оценка живых взаимодействий по рубрикам, предоставление actionable feedback и доведение до верифицированной имплементации (не просто репортинг — подтверждение, что фикс выпущен и работает).
•Опыт запуска evaluation loop для LLM/agent quality — LLM-as-a-judge, человеческая аннотация, регрессия на golden sets.
•Комфортное чтение транскриптов и структурированных логов (JSON), базовое владение SQL / data literacy для анализа метрик.
•Hands-on prompt engineering — написание, версионирование и итерация production-промптов: системные промпты для LLM voice/chat агентов, evaluator-промпты для LLM-as-a-judge проверок.
•Hands-on опыт оценки voice и/или chat AI агентов (RetellAI или схожие LLM-agent платформы).
•Практическое понимание диалоговых флоу, интентов и режимов отказа — barge-in, ошибки ASR/TTS, обработка voicemail, escalation и fallback пути.
•Сильные аналитические и коммуникационные навыки — умение переводить технические находки в бизнес-impact и обратно, владеть качественной планкой через команды без формальных полномочий (мост бизнес ↔ AI-команда).
•Английский — C1 или выше; умение презентовать работу и вести дискуссии с US-based коллегами, клиентами и стейкхолдерами.
•Свободный русский для работы с русскоязычными коллегами.
Будет плюсом:
•Опыт в Healthcare, Health-Tech и MedTech — большой плюс.
•Испанский — плюс; пациенты обслуживаются на английском и испанском.
Условия
•Unlimited PTOs Policy и компенсированные New Years Holidays сверху. Злоупотребление политикой не приветствуется, но точно можно взять минимум две недели — полностью компенсированный — отпуск, или больше.
•Компания предоставляет корпоративное железо сотрудникам, прошедшим испытательный период и доказавшим свою ценность.
•Используются Google Workspace, Slack, Zoom и похожие инструменты для сообщений, встреч и шаринга документов по всей организации. Microsoft Outlook, Microsoft Teams и похожее ПО не используются.
•Реальная возможность решать большинство задач в Cloud-Native и Third-Party Integrations манере, редко деплоя что-то self-hosted (например, через GKE). Fully Serverless подход на базе Cloud Functions и Cloud Run определённо не приветствуется.
•Компания частично компенсирует Team Building события, когда несколько коллег находятся в близких странах.
