Контракт | Удалённо, по всему миру | $100–$200/час в зависимости от опыта и локации | 10–20 ч/нед
Подробнее смотрите в этом видео на Loom: https://www.loom.com/share/b0d1b0bf24c44ae8b95dca84b9db60e5
Мы ищем опытного инженера-разработчика уровня SR+ для оценки качества взаимодействий с современными coding-агентами, такими как OpenAI Codex и Claude Code.
Это не традиционная инженерная роль. Вы не будете писать production-код. Вы будете оценивать то, что сложнее: думает ли модель как сильный инженер.
Чем на самом деле является эта роль
Вы будете оценивать, как AI coding-агенты ведут себя в реальных сценариях, с фокусом на:
•Имеет ли ответ смысл
•Полезны ли преамбула и рассуждения
•Отражает ли результат сильную инженерную суждённость
•Ощущается ли взаимодействие правильным для опытного разработчика
Эта роль про инженерный вкус. Корректность синтаксиса — простая часть.
Чем вы будете заниматься
•Оценивать сгенерированные AI coding-взаимодействия от начала до конца
•Судить, полезны ли результаты, верны ли они на высоком уровне и соответствуют ли тому, как думает сильный инженер
•Оценивать качество объяснений и рассуждений, а не только кода
•Различать уровни качества ответа (что отличает оценку 2 от оценки 4)
•Давать чёткую, аргументированную письменную обратную связь о том, что сработало, что нет и что показалось странным или вводящим в заблуждение
•Помогать определять, как выглядит отличная работа с инструментами вроде Cursor, Codex и Claude Code
Что мы имеем в виду под «вкусом»
Мы ищем инженеров, которые могут ответить на вопросы вроде:
•Похоже ли это на то, что на самом деле сказал бы сильный инженер?
•Полезно ли это объяснение или оно лишь технически верно?
•Хорошо ли модель ведёт пользователя или просто вываливает результат?
•Укрепит ли это взаимодействие доверие или подорвёт его?
Вы должны быть готовы делать субъективные, но строгие суждения и ясно их объяснять.
Кто вы
•Инженер уровня Senior, Staff или Principal (или эквивалентный опыт)
•Сильный бэкграунд в TypeScript/JavaScript или Python
•Практический опыт работы хотя бы с одним из OpenAI Codex, Claude Code или Cursor
•Глубокое знакомство с современными AI-assisted dev workflow
•Умение оценивать код без запуска и без просмотра каждой строки
•Сильный письменный и устный английский (B2 и выше). Вы будете писать развёрнутую обратную связь и записывать короткие видеообъяснения — это обязательное требование
•Комфортно давать прямую, аргументированную обратную связь
•Высокая планка того, как выглядит хорошая инженерия
Будет плюсом
•Предыдущий опыт в prompt design или evaluation workflow
•Опыт менторства senior-инженеров или определения инженерных стандартов
Условия сотрудничества
•Ставка: $100–$200/час в зависимости от опыта и локации
•Часы: 10–20 часов в неделю, гибкий график
•Срок: на постоянной основе. Проекты длятся от примерно двух недель до нескольких месяцев каждый; тем, кто хорошо справляется, мы предлагаем новые
•Старт: как только вы пройдёте take-home и в проекте освободится место
•Процесс: одно take-home задание на оценку с записанным разбором в Loom. Без собеседования
