Описание
Мы ищем внимательных к деталям QA-инженеров для поддержки тестирования и оценки AI-систем. Вы будете применять экспертизу в области контроля качества программного обеспечения для валидации выходных данных AI, оценки качества данных, выявления дефектов и предоставления структурированной обратной связи для улучшения производительности модели. Роль объединяет проектирование тест-кейсов, выполнение тестов, отчётность о дефектах, аннотирование данных и оценку AI-моделей. Подходит профессионалам, которые могут систематически оценивать результаты, точно документировать находки и ясно сообщать о проблемах качества.
Задачи
•Проектировать, выполнять и документировать тест-кейсы и сценарии для оценки выходных данных AI на соответствие заданным требованиям.
•Проверять, аннотировать и размечать датасеты для поддержки точного обучения моделей машинного обучения.
•Оценивать предсказания модели и выявлять несоответствия, дефекты, ошибки и повторяющиеся паттерны.
•Документировать результаты тестирования, выводы по оценке и обратную связь в чётких, организованных записях.
•Сотрудничать с кросс-функциональными командами для уточнения требований, сообщения о находках и решения вопросов.
•Вносить вклад в развитие и совершенствование методологий тестирования для AI-систем.
•Рекомендовать улучшения в отношении качества данных, процессов тестирования и производительности модели.
Требования
•Практический опыт в обеспечении качества программного обеспечения и тестировании.
•Понимание планирования тестирования, проектирования тест-кейсов, выполнения тестов и отчётности о дефектах.
•Высокое внимание к деталям при проверке выходных данных, датасетов и результатов тестирования.
•Способность анализировать находки, выявлять несоответствия и предоставлять применимую обратную связь.
•Владение английским языком на уровне B2 и выше.
•Сильные навыки письменной коммуникации и документирования.
•Способность эффективно сотрудничать с кросс-функциональными командами.
Будет плюсом
•Опыт с разметкой данных, аннотацией данных или проверкой качества датасетов.
•Знакомство с оценкой AI-моделей или обучением с подкреплением на основе обратной связи от человека (RLHF).
•Опыт оценки выходных данных системы на соответствие заданным стандартам качества.
•Способность выявлять паттерны в результатах тестирования и рекомендовать улучшения методологий тестирования.
Условия
•Тип работы: контракт.
•Формат работы: удалённо.
•Почасовая ставка: $63–$120, что эквивалентно приблизительно $120,960–$230,400 в год при 1920 рабочих часах в году. Эта годовая цифра приведена только для сравнения; фактический заработок зависит от контрактных часов и объёма работы.
