О компании HumanSignal
Данные из реального мира — это конкурентное преимущество в области ИИ.
HumanSignal — это партнер по человеческим данным для компаний, создающих модели и продукты на базе ИИ. Наши клиенты выпускают лучшие ИИ-продукты быстрее, потому что мы сотрудничаем с их исследователями на всех этапах — от создания данных из реального мира до их аннотирования и доставки.
Мы проектируем и создаем наборы данных с нуля, привлекаем и управляем экспертами в предметной области, которые оценивают результаты моделей, и запускаем все это через нашу собственную платформу Label Studio — открытый стандарт для разметки и оценки данных, используемый более чем 1 миллионом специалистов по всему миру.
Мы специализируемся на операционно сложных задачах: сбор данных из реального мира, мультимодальные конвейеры и многоэтапные рабочие процессы. Продвинутые команды ML и ИИ используют нашу корпоративную платформу для управления собственными фабриками данных, а наша сервисная команда расширяет их возможности там, где внутренние ресурсы исчерпаны.
Если вы хотите заниматься работой, которая существенно влияет на то, как создается следующее поколение ИИ-продуктов, мы будем рады поговорить с вами.
Руководитель отдела качества и поддержки проектов, Data Services
Местоположение: Сан-Франциско или Остин, Техас
Подчиняется: Руководителю Data Services
Заработная плата: $140,000 - $180,000
О роли
Каждый проект Data Services либо успешен, либо нет, в зависимости от двух факторов: понимает ли команда, выполняющая работу, спецификацию, и можем ли мы доказать, что результат соответствует ей. Эта роль отвечает за оба аспекта.
В качестве Руководителя отдела качества и поддержки проектов вы будете брать каждую спецификацию клиента и превращать её в материалы, которые помогут аннотаторам и экспертам работать эффективно. Затем вы разработаете процесс контроля качества и методологию выборки, которые проверят работу до её передачи. Если качество падает, вы выявите причину — будь то пробел в спецификации, обучении или процессе проверки — и исправите её.
За что вы будете отвечать
Поддержка проектов
•Преобразование документов со спецификациями клиентов в готовые к проекту пакеты поддержки: инструкции для аннотаторов, деревья решений, библиотеки крайних случаев с примерами и пошаговые руководства по адаптации.
•Создание квалификационных тестов и наборов эталонных данных, подтверждающих, что аннотаторы понимают спецификацию до начала работы с продуктивными задачами.
•Проведение пилотных и калибровочных раундов в начале проекта для выявления неоднозначностей в спецификации. Решение этих вопросов совместно с клиентом и руководителем доставки до масштабирования.
•Поддержание версионных инструкций на протяжении всего проекта. Внедрение обновлений при появлении новых крайних случаев и подтверждение усвоения изменений рабочей силой.
Проектирование процесса контроля качества
•Разработка плана качества для каждого проекта. Выбор структуры проверки (эталонные задачи, перекрытие/консенсус, многоступенчатая проверка, экспертное рассмотрение) в зависимости от типа задачи, риска и бюджета.
•Определение методологии выборки. Размер выборок для достижения целевых уровней доверия, стратификация по классам и сложности, а также корректировка частоты проверок для каждого аннотатора на основе его результатов.
•Выбор подходящих метрик для каждой задачи, таких как точность по эталону, показатели согласия (например, κ или α), или показатели ошибок по классам. Установка порогов приемлемости с учетом субъективности задачи.
•Настройка этих рабочих процессов в нашей платформе для разметки и превращение успешных практик в повторно используемые руководства по качеству для каждого типа задач.
Контроль качества доставки
•Ответственность за окончательное утверждение качества. Ни одна доставка не отправляется без соответствия согласованным критериям приемки.
•Мониторинг качества на протяжении всего проекта. Раннее выявление отклонений, проведение анализа первопричин дефектов и инициирование корректирующих действий как для отдельных сотрудников, так и для инструкций.
•Подготовка четких отчетов о качестве для каждой доставки, включающих методологию, результаты и известные ограничения.
Что вы должны иметь
•6+ лет опыта в обеспечении качества или операциях качества для разметки данных, человеческих данных или данных для обучения/оценки ML, включая опыт руководства функцией или командой качества
•Доказанная способность переводить сложные или неоднозначные спецификации в инструкции и обучение, которые обеспечивают стабильные результаты
•Сильные прикладные знания статистики для QA: дизайн выборок, доверительные интервалы и метрики согласия, а также умение объяснять свои решения клиенту
•Практический опыт настройки рабочих процессов проверки и контроля качества в платформе аннотирования
•Владение Claude Code для анализа качества
•Четкое письменное общение. Ваши инструкции и отчеты о качестве — это продукт.
Желательно: Опыт работы с проектами LLM, RLHF или данными предпочтений; опыт работы с экспертными или специализированными командами; опыт в разработке учебных материалов; знакомство с Label Studio; опыт с модельно-поддерживаемым контролем качества.
Как выглядит успех
•90 дней: Стандартный пакет поддержки и шаблон плана качества используются в каждом новом проекте. Вы отвечаете за утверждение всех активных доставок.
•6 месяцев: Аннотаторы достигают целевой точности быстрее, количество изменений инструкций в середине проекта снижается, а переделки и дефекты, выявленные клиентами, заметно уменьшаются.
•12 месяцев: Отчеты о качестве и методология становятся преимуществом для Data Services, а руководства внедрены так, что функция может масштабироваться без вашего непосредственного участия.
