Контракт | Удалённо, по всему миру | $100–$200/час в зависимости от опыта и локации | 10–20 ч/нед
Подробнее в этом видео на Loom: https://www.loom.com/share/b0d1b0bf24c44ae8b95dca84b9db60e5
Мы ищем опытного инженера-разработчика (SR+) для оценки качества взаимодействий с современными coding-агентами, такими как OpenAI Codex и Claude Code.
Это не классическая инженерная роль. Вы не будете писать продакшен-код. Вы будете оценивать нечто более сложное: думает ли модель как сильный инженер.
Чем эта роль на самом деле является
Вы будете оценивать поведение AI coding-агентов в реальных сценариях, с фокусом на:
•Насколько ответ логичен
•Насколько полезны преамбула и рассуждения
•Отражает ли результат сильную инженерную суждательность
•Насколько взаимодействие «ощущается правильным» для опытного разработчика
Эта роль про инженерный вкус. Синтаксическая корректность — простая часть.
Чем вы будете заниматься
•Оценивать AI-сгенерированные coding-взаимодействия от начала до конца
•Судить, полезны ли результаты, верны ли они на высоком уровне и согласуются ли с тем, как думает сильный инженер
•Оценивать качество объяснений и рассуждений, а не только кода
•Различать уровни качества ответа (что делает ответ «2», а что «4»)
•Давать чёткую, аргументированную письменную обратную связь: что сработало, что нет, что показалось странным или вводящим в заблуждение
•Помогать определять, как выглядит «отлично» при работе с инструментами вроде Cursor, Codex и Claude Code
Что мы имеем в виду под «вкусом»
Мы ищем инженеров, которые могут ответить на вопросы вроде:
•Похоже ли это на то, что реально сказал бы сильный инженер?
•Это объяснение полезно или просто технически верно?
•Модель хорошо ведёт пользователя или просто вываливает результат?
•Такое взаимодействие укрепит или подорвёт доверие?
Вы должны уметь делать субъективные, но обоснованные суждения и ясно их объяснять.
Кто вы
•Senior, Staff или Principal-инженер (или эквивалентный опыт)
•Сильный бэкграунд в TypeScript/JavaScript или Python
•Практический опыт работы хотя бы с одним из OpenAI Codex, Claude Code или Cursor
•Глубокое знакомство с современными AI-assisted dev workflows
•Умение оценивать код без запуска и без построчного ревью
•Уверенный письменный и разговорный английский (B2 и выше). Вы будете писать развёрнутую обратную связь и записывать короткие видео-объяснения — это жёсткое требование
•Комфорт с прямой, аргументированной обратной связью
•Высокая планка того, как выглядит хорошая инженерная работа
Будет плюсом
•Опыт prompt design или evaluation workflows
•Опыт менторства senior-инженеров или определения инженерных стандартов
Условия сотрудничества
•Ставка: $100–$200/час в зависимости от опыта и локации
•Часы: 10–20 часов в неделю, гибко
•Срок: на постоянной основе. Проекты длятся от примерно двух недель до нескольких месяцев; новые предлагаем тем evaluators, кто хорошо справляется
•Старт: как только вы пройдёте take-home и в проекте освободится место
•Процесс: одно take-home evaluation exercise с записанным Loom walkthrough. Без интервью
