О нас
Encord — универсальный слой данных для ИИ, который помогает более чем 300 командам ИИ обучать и запускать модели на правильных данных. Наша платформа индексирует, курирует, аннотирует и оценивает данные на протяжении всего жизненного цикла ИИ — от разработки до производства.
Нам доверяют Woven by Toyota, AXA, UiPath, Zipline и другие. Мы — амбициозная команда из более чем 100 человек, работающая на переднем крае ИИ, и мы привлекли $60 млн в раунде финансирования серии C от Wellington Management, CRV, Next47 и Y Combinator.
Роль
Мы нанимаем руководителя систем качества, который будет отвечать за то, как Encord измеряет качество человеческих данных, которые мы поставляем передовым лабораториям ИИ, компаниям в области физического ИИ и корпоративным командам ИИ — сам стандарт, системы, которые оценивают по нему, и функцию аудита, которая формирует эталонную истину для обоих. Качество данных — это то, что покупают наши клиенты. По мере масштабирования по типам данных — изображения и видео, документы, медицинские данные, оценка LLM, телоперация роботов, эгоцентрическая съемка — покрытие качества не может масштабироваться линейно с численностью персонала. Поэтому эта роль состоит из двух взаимодополняющих частей. Вы будете создавать автоматизированную оценку: скрининг с помощью моделей и на базе LLM, анализ согласованности в масштабе, обнаружение аномалий и дрейфа в результатах аннотаций. И вы будете создавать и управлять специализированной аудиторской командой из примерно десяти специалистов в Индии, чьи суждения становятся размеченной эталонной истиной, которая обучает и калибрует этот автоматизированный слой. По мере автоматизации покрытия аудитория переходит к случаям, которые модели не могут оценить, и к созданию золотых наборов для каждого нового типа данных, который мы берем в работу. Это необычное сочетание — инженерия и последовательные операции контроля качества в одном человеке — и именно такое сочетание требуется для этой работы. У вас также будет преимущество перед коллегами в отрасли: Encord владеет платформой, на которой работает эта работа, поэтому построенное вами измерение может стать встроенной функцией продукта, а не внутренним инструментом.
Что вы будете делать
•Создавать автоматизированную оценку качества наборов данных и выявление коренных причин — скрининг с помощью моделей и LLM в роли судьи, анализ согласованности в масштабе, обнаружение аномалий и дрейфа в результатах аннотаций
•Нанимать, обучать, калибровать и управлять специализированной аудиторской командой из примерно десяти специалистов, базирующихся в нашем подразделении в Индии, оцениваемой по согласованности оценок и уровню обнаружения ошибок, а не по объему проверок
•Преобразовывать результаты аудита в размеченную эталонную истину, которая обучает и валидирует автоматизированный слой, и управлять соотношением автоматизированного и ручного покрытия целенаправленно с течением времени
•Отвечать за стандарт качества для каждого типа данных, которые мы поставляем — письменные рубрики с проработанными крайними случаями, золотые наборы и критерии приемки, согласованные с клиентом совместно с руководителем специальных проектов, до отправки первой партии
•Создавать системы оценки, которые ранжируют производительность аннотаторов и рецензентов и влияют на решения о маршрутизации, укомплектовании и увольнении
•Устанавливать пороговые значения прохождения сертификации, чтобы никто не работал с проектной очередью без подтверждения соответствия стандарту
•Отчитываться о ключевых показателях качества перед руководством и в отчетах, которые наши руководители специальных проектов предоставляют клиентам: точность по спецификации клиента, согласованность между аннотаторами, уровень доработок, стоимость доработок и покрытие
•Работать с управлением проектами по вопросам исправления — вы создаете измерения и диагноз, производство отвечает за исправление проекта, а стандарт остается независимым от оцениваемых людей
•Отвечать за экономику качества: стоимость за проверенную единицу и покрытие, которое вы получаете на каждый потраченный фунт
•Сотрудничать с командами продукта и инженерии для интеграции измерения качества в платформу Encord как встроенной функции
Кого мы ищем
•Вы создаете и управляете. Вы напишете конвейер оценки и будете проводить еженедельные сессии калибровки с десятью аудиторами в другой стране
•Ваш инстинкт при проблеме покрытия — автоматизировать её — вы сначала обращаетесь к модели, эвристике или лучшему дизайну выборки, прежде чем нанимать больше аудиторов
•Статистически грамотны на практическом уровне: дизайн выборки, статистика согласованности и умение заметить, что метрика оптимизируется, а не достигается
•Вы можете поддерживать откалиброванный стандарт в распределенной команде, с которой не сидите рядом — вы знаете, что десять некалиброванных аудиторов создают десять стандартов
•Сильный писатель. Большая часть работы — создание рубрик, которым может следовать распределенная рабочая сила без вашего присутствия
•Вы поддерживаете стандарт под коммерческим давлением и приводите доказательства, которые делают его обязательным для команды доставки или клиента
•Системный мыслитель: вас интересует не только уровень дефектов в проекте, но и причины повторяющихся сбоев в разных проектах
Требования к опыту
•Более 4 лет опыта владения как техническими, так и операционными результатами в области данных, ИИ или сервисной доставки, где качество измерялось, а не утверждалось
•Практические навыки Python и SQL. Вы создаете анализ и инструменты, а не просто задаете требования кому-то другому
•Практический опыт применения моделей к задачам качества или оценки — LLM в роли судьи, модельная поддержка QA, автоматизированная оценка, обнаружение аномалий или скрининг на основе классификаторов
•Методология выборки и статистика согласованности (коэффициенты каппа Коэна и Флейсса, F1 по эталонной истине), применяемые к реальным производственным данным
•Опыт найма, обучения и управления командой, желательно аудиторской, рецензентской или QA, и желательно распределенной
•Опыт создания системы качества или функции, включая отчеты для руководства и клиентов
•Плюс: прямой опыт работы с аннотацией, оценкой или рабочими процессами обучения моделей, а также понимание того, что передовые лаборатории ИИ принимают в качестве доказательства качества
•Плюс: степень в STEM, или опыт в области науки о данных или исследовательской инженерии
•Плюс: многоязычная доставка и оценка лингвистического качества
Почему Encord
•Конкурентная зарплата, комиссия и доля в быстрорастущем стартапе
•Сильная культура личного общения — большая часть команды работает из нашего офиса в Лондоне 4+ дня в неделю
•25 дней ежегодного отпуска + государственные праздники Великобритании
•Ежегодный бюджет на обучение и развитие
•Командировки для встреч с клиентами, мероприятий и конференций по Великобритании и Европе
•Обеды компании два раза в неделю
•Ежемесячные социальные мероприятия и двухразовые выездные встречи команды в году
