Условия
Контракт | Удалённо, по всему миру | $100–$200/час в зависимости от опыта и локации | 10–20 ч/нед
Подробнее в этом видео на Loom: https://www.loom.com/share/b0d1b0bf24c44ae8b95dca84b9db60e5
Мы ищем опытного инженера-разработчика уровня SR+ для оценки качества взаимодействий с современными coding-агентами, такими как OpenAI Codex и Claude Code.
Это не классическая инженерная роль. Вы не будете писать production-код. Вы будете оценивать то, что сложнее: думает ли модель как сильный инженер.
Чем на самом деле является эта роль
Вы будете оценивать, как AI coding-агенты ведут себя в реальных сценариях, с фокусом на:
•Имеет ли ответ смысл
•Полезны ли преамбула и рассуждения
•Отражает ли результат сильную инженерную суждательность
•Ощущается ли взаимодействие правильным для опытного разработчика
Эта роль про инженерный вкус. Синтаксическая корректность — лёгкая часть.
Чем вы будете заниматься
•Оценивать сгенерированные AI coding-взаимодействия от начала до конца
•Судить, полезны ли результаты, верны ли они на высоком уровне и соответствуют ли тому, как думал бы сильный инженер
•Оценивать качество объяснений и рассуждений, а не только кода
•Различать уровни качества ответов (что отличает оценку 2 от 4)
•Давать чёткую, аргументированную письменную обратную связь о том, что сработало, что нет и что показалось странным или вводящим в заблуждение
•Помогать определять, как выглядит отличная работа с инструментами вроде Cursor, Codex и Claude Code
Что мы имеем в виду под «вкусом»
Мы ищем инженеров, которые могут ответить на вопросы вроде:
•Похоже ли это на то, что реально сказал бы сильный инженер?
•Это объяснение полезно или просто технически верно?
•Модель хорошо ведёт пользователя или просто вываливает результат?
•Такое взаимодействие укрепит или подорвёт доверие?
Вам должно быть комфортно делать субъективные, но строгие суждения и ясно их объяснять.
Кто вы
•Инженер уровня Senior, Staff или Principal (или эквивалентный опыт)
•Сильный бэкграунд в TypeScript/JavaScript или Python
•Практический опыт работы хотя бы с одним из OpenAI Codex, Claude Code или Cursor
•Глубокое знакомство с современными AI-assisted dev workflow
•Умение оценивать код без запуска и без разбора каждой строки
•Сильный письменный и устный английский (B2 и выше). Вы будете писать развёрнутую обратную связь и записывать короткие видеообъяснения — это обязательное требование
•Комфортно давать прямую, аргументированную обратную связь
•Высокая планка того, как выглядит хорошая инженерия
Будет плюсом
•Опыт prompt design или evaluation workflow
•Опыт менторства senior-инженеров или определения инженерных стандартов
Условия сотрудничества
•Ставка: $100–$200/час в зависимости от опыта и локации
•Часы: 10–20 часов в неделю, гибкий график
•Срок: на постоянной основе. Проекты длятся примерно от двух недель до нескольких месяцев; тем, кто хорошо справляется, предлагаем новые
•Старт: как только вы пройдёте take-home и в проекте освободится место
•Процесс: одно take-home evaluation exercise с записанным разбором на Loom. Без интервью
