Контракт | Удалённо, по всему миру | $100-$200 в час в зависимости от опыта и местоположения | 10-20 часов в неделю
Посмотрите это видео на Loom для получения дополнительной информации: https://www.loom.com/share/b0d1b0bf24c44ae8b95dca84b9db60e5
Мы ищем высококвалифицированного инженера-программиста (уровень SR+) для помощи в оценке качества взаимодействия с современными агентами кодирования, такими как OpenAI Codex и Claude Code.
Это не традиционная инженерная роль. Вы не будете писать код для продакшена. Вы будете оценивать нечто более сложное: думает ли модель как отличный инженер.
Что на самом деле представляет собой эта роль
Вы будете оценивать, как агенты искусственного интеллекта для кодирования ведут себя в реальных сценариях, сосредотачиваясь на:
•Соответствует ли ответ здравому смыслу
•Полезны ли вступление и рассуждения
•Отражает ли результат сильное инженерное суждение
•Насколько взаимодействие кажется правильным опытному разработчику
Эта роль связана с инженерным вкусом. Корректность синтаксиса — это простая часть.
Чем вы будете заниматься
•Оценивать взаимодействия с кодом, сгенерированным ИИ, от начала до конца
•Судить, полезны ли результаты, корректны ли они на высоком уровне и соответствуют ли мышлению сильного инженера
•Оценивать качество объяснений и рассуждений, а не только кода
•Различать уровни качества ответов (что делает ответ 2 лучше или хуже, чем 4)
•Давать чёткую, аргументированную обратную связь в письменной форме о том, что сработало, что нет и что показалось неправильным или вводящим в заблуждение
•Помогать определить, что значит «отлично», работая с такими инструментами, как Cursor, Codex и Claude Code
Что мы подразумеваем под «вкусом»
Мы ищем инженеров, которые могут ответить на вопросы типа:
•Кажется ли это тем, что действительно сказал бы сильный инженер?
•Помогает ли это объяснение, или оно просто технически корректно?
•Направляет ли модель пользователя хорошо, или просто выдаёт результат?
•Создаст ли это взаимодействие доверие или подорвет его?
Вы должны быть готовы делать субъективные, но строгие суждения и ясно их объяснять.
Кто вы
•Инженер уровня Senior, Staff или Principal (или эквивалентный опыт)
•Сильный опыт работы с TypeScript/JavaScript или Python
•Практический опыт работы хотя бы с одним из OpenAI Codex, Claude Code или Cursor
•Глубокое знакомство с современными рабочими процессами разработки с поддержкой ИИ
•Умение оценивать код без его выполнения или просмотра каждой строки
•Хорошее владение английским языком в письменной и устной форме (уровень B2 и выше). Вам предстоит писать подробные отзывы и записывать короткие видеообъяснения, поэтому это обязательное требование
•Готовность давать прямую, аргументированную обратную связь
•Высокие стандарты того, что такое хороший инженеринг
Желательно иметь
•Предыдущий опыт работы с дизайном подсказок или оценочными рабочими процессами
•Опыт наставничества старших инженеров или определения инженерных стандартов
Детали сотрудничества
•Ставка: $100-$200 в час в зависимости от опыта и местоположения
•Часы: 10-20 часов в неделю, гибкий график
•Длительность: постоянная. Проекты длятся от примерно двух недель до нескольких месяцев, и мы предлагаем новые проекты тем оценщикам, кто показывает хорошие результаты
•Начало: как только вы пройдёте домашнее задание и появится свободное место в проекте
•Процесс: одно домашнее задание с записанным обзором на Loom. Без интервью
