Условия
Контракт | Удалённо, по всему миру | $100–$200 в час в зависимости от опыта и локации | 10–20 ч/нед
Подробнее в этом видео на Loom: https://www.loom.com/share/b0d1b0bf24c44ae8b95dca84b9db60e5
Мы ищем опытного инженера-разработчика уровня SR+ для оценки качества взаимодействий с современными coding-агентами, такими как OpenAI Codex и Claude Code.
Это не классическая инженерная роль. Вы не будете писать production-код. Вы будете оценивать то, что сложнее: думает ли модель как сильный инженер.
Чем на самом деле является эта роль
Вы будете оценивать поведение AI coding-агентов в реальных сценариях, с фокусом на:
•Имеет ли ответ смысл
•Полезны ли вступление и рассуждения
•Отражает ли результат сильную инженерную суждательность
•Ощущается ли взаимодействие правильным для опытного разработчика
Эта роль про инженерный вкус. Синтаксическая корректность — простая часть.
Чем вы будете заниматься
•Оценивать сгенерированные AI coding-взаимодействия от начала до конца
•Судить, полезны ли результаты, верны ли они на высоком уровне и соответствуют ли тому, как думал бы сильный инженер
•Оценивать качество объяснений и рассуждений, а не только кода
•Различать уровни качества ответа (что отличает оценку 2 от оценки 4)
•Давать чёткую, аргументированную письменную обратную связь: что сработало, что нет, что показалось странным или вводящим в заблуждение
•Помогать определять, как выглядит отличная работа с инструментами вроде Cursor, Codex и Claude Code
Что мы имеем в виду под «вкусом»
Мы ищем инженеров, которые могут ответить на вопросы вроде:
•Похоже ли это на то, что реально сказал бы сильный инженер?
•Помогает ли это объяснение или оно лишь технически верно?
•Хорошо ли модель ведёт пользователя или просто вываливает результат?
•Укрепит ли такое взаимодействие доверие или подорвёт его?
Вам должно быть комфортно выносить субъективные, но строгие суждения и ясно их объяснять.
Кто вы
•Инженер уровня Senior, Staff или Principal (или эквивалентный опыт)
•Сильный бэкграунд в TypeScript/JavaScript или Python
•Практический опыт работы хотя бы с одним из OpenAI Codex, Claude Code или Cursor
•Глубокое знакомство с современными workflow разработки с помощью AI
•Умение оценивать код без запуска и без построчного разбора
•Сильный письменный и разговорный английский (B2 и выше). Вы будете писать развёрнутую обратную связь и записывать короткие видеообъяснения — это обязательное требование
•Комфорт с прямой, аргументированной обратной связью
•Высокая планка того, как выглядит хорошая инженерная работа
Будет плюсом
•Предыдущий опыт в prompt design или evaluation workflow
•Опыт менторства senior-инженеров или формирования инженерных стандартов
Условия сотрудничества
•Ставка: $100–$200 в час в зависимости от опыта и локации
•Часы: 10–20 часов в неделю, гибкий график
•Срок: на постоянной основе. Проекты длятся от примерно двух недель до нескольких месяцев; тем, кто хорошо справляется, предлагаем новые
•Старт: как только вы успешно пройдёте take-home и в проекте освободится место
•Процесс: одно take-home задание на оценку с записанным разбором в Loom. Без собеседования
