Контракт | Удалённо, по всему миру | $100–$200/час в зависимости от опыта и локации | 10–20 ч/нед
Подробнее в этом видео на Loom: https://www.loom.com/share/b0d1b0bf24c44ae8b95dca84b9db60e5
Мы ищем опытного инженера-разработчика уровня SR+ для оценки качества взаимодействий с современными coding-агентами, такими как OpenAI Codex и Claude Code.
Это не классическая инженерная роль. Вы не будете писать production-код. Вы будете оценивать то, что сложнее: думает ли модель как сильный инженер.
Чем на самом деле является эта роль
Вы будете оценивать поведение AI coding-агентов в реальных сценариях, с фокусом на:
•Имеет ли ответ смысл
•Полезны ли преамбула и рассуждения
•Отражает ли результат сильную инженерную суждательность
•Ощущается ли взаимодействие правильным для опытного разработчика
Эта роль про инженерный вкус. Синтаксическая корректность — лёгкая часть.
Чем вы будете заниматься
•Оценивать AI-сгенерированные coding-взаимодействия от начала до конца
•Судить, полезны ли результаты, верны ли они на высоком уровне и соответствуют ли тому, как думал бы сильный инженер
•Оценивать качество объяснений и рассуждений, а не только кода
•Различать уровни качества ответа (что отличает оценку 2 от оценки 4)
•Давать чёткую, аргументированную письменную обратную связь: что сработало, что нет, что показалось странным или вводящим в заблуждение
•Помогать определять, как выглядит отличная работа с инструментами вроде Cursor, Codex и Claude Code
Что мы имеем в виду под «вкусом»
Мы ищем инженеров, которые могут ответить на вопросы вроде:
•Похоже ли это на то, что реально сказал бы сильный инженер?
•Это объяснение полезно или просто технически верно?
•Модель хорошо ведёт пользователя или просто вываливает результат?
•Укрепит ли такое взаимодействие доверие или подорвёт его?
Вы должны уверенно делать субъективные, но строгие суждения и ясно их объяснять.
Кто вы
•Инженер уровня Senior, Staff или Principal (или эквивалентный опыт)
•Сильный бэкграунд в TypeScript/JavaScript или Python
•Практический опыт работы хотя бы с одним из OpenAI Codex, Claude Code или Cursor
•Глубокое знакомство с современными AI-assisted dev-процессами
•Умение оценивать код без запуска и без построчного ревью
•Сильный письменный и устный английский (B2 и выше). Вы будете писать развёрнутую обратную связь и записывать короткие видеообъяснения — это обязательное требование
•Комфортно давать прямую, аргументированную обратную связь
•Высокая планка того, как выглядит хорошая инженерия
Будет плюсом
•Опыт prompt design или evaluation workflows
•Опыт менторства senior-инженеров или определения инженерных стандартов
Условия сотрудничества
•Ставка: $100–$200/час в зависимости от опыта и локации
•Часы: 10–20 часов в неделю, гибкий график
•Срок: на постоянной основе. Проекты длятся от примерно двух недель до нескольких месяцев; тем, кто хорошо справляется, предлагаем новые
•Старт: как только вы проходите take-home и в проекте есть свободное место
•Процесс: одно take-home задание на оценку с записанным разбором в Loom. Без собеседования
