О роли
Scale сотрудничает с ведущими лабораториями в области ИИ, чтобы предоставлять высококачественные данные и ускорять прогресс в исследованиях генеративного ИИ (GenAI). Мы ищем научных сотрудников и инженеров-исследователей с опытом в постобучении больших языковых моделей (LLM) (SFT, RLHF, моделирование вознаграждения) и их оценке. Эта роль находится в подразделении оценки внутри организации GenAI Research и будет сосредоточена на создании эталонов и диагностике режимов сбоев моделей как в текстовых, так и в мультимодальных форматах.
В этой роли вы будете разрабатывать строгие методы оценки и диагностики, которые выявляют, где и почему передовые модели дают сбои. Вы будете сотрудничать с исследователями и инженерами для определения лучших практик в разработке ИИ, основанной на оценке. Также вы будете работать с ведущими лабораториями фундаментальных моделей, чтобы переводить анализ сбоев в технические и стратегические рекомендации для следующего поколения генеративных моделей ИИ.
Вы будете:
•Анализировать поведение моделей для выявления, характеристики и диагностики режимов сбоев в передовых LLM и агентах. Вы будете выявлять всё — от пробелов в возможностях и ошибок в рассуждениях до проблем с устойчивостью и согласованностью, сосредотачиваясь на корневом анализе причин (RCA).
•Проектировать и создавать эталоны и методы оценки, которые измеряют возможности LLM как в текстовых, так и в мультимодальных форматах.
•Применять опыт постобучения (SFT, RLHF, моделирование вознаграждения) для связывания наблюдаемых сбоев с данными и тренировочными вмешательствами, которые их устраняют.
•Публиковать результаты исследований на ведущих конференциях по ИИ.
Идеально, если у вас есть:
•Степень Ph.D. или магистра в области компьютерных наук, машинного обучения, ИИ или смежной области.
•Глубокое понимание глубокого обучения, обучения с подкреплением и тонкой настройки моделей большого масштаба.
•Опыт с методами постобучения, такими как RLHF, моделирование предпочтений или настройка инструкций, а также с оценкой LLM или разработкой эталонов.
•Отличные навыки письменного и устного общения.
•Публикации в области машинного обучения на крупных конференциях (NeurIPS, ICML, ICLR, ACL, EMNLP, CVPR и др.) и/или в журналах.
•Предыдущий опыт работы с клиентами.
Компенсация
Пакеты компенсаций в Scale для соответствующих ролей включают базовую зарплату, акции и льготы. Диапазон, указанный в объявлении, отражает минимальную и максимальную целевую зарплату для новых сотрудников на данной позиции и может включать несколько уровней карьеры в Scale; он будет определён в процессе собеседования с учётом места работы и дополнительных факторов, включая профессиональные навыки, опыт, квалификацию, результаты собеседования и соответствующее образование или обучение. Сотрудникам Scale на соответствующих ролях также предоставляются компенсации в виде акций, подлежащие одобрению Советом директоров.
Базовый диапазон зарплаты для этой полной ставки в таких городах, как Сан-Франциско, Нью-Йорк, Сиэтл, составляет: 165 600 $ — 207 000 $ США.
Вы также получите льготы, включая комплексное медицинское, стоматологическое и офтальмологическое страхование, пенсионные льготы, стипендию на обучение и развитие, а также щедрый оплачиваемый отпуск. Эта роль может иметь право на дополнительные льготы, такие как компенсация проезда.
О нас
В Scale наша миссия — разрабатывать надежные системы ИИ для самых важных решений в мире. Наши продукты предоставляют высококачественные данные и комплексные технологии, которые питают ведущие модели мира, а также помогают предприятиям и правительствам создавать, внедрять и контролировать приложения ИИ, приносящие реальный эффект. Мы тесно сотрудничаем с лидерами отрасли, такими как Meta, Ernst & Young, Mayo Clinic, Time Inc., правительство Катара и правительственные агентства США, включая Армию и ВВС.
