Описание
Создаёт датасеты для задач машинного обучения: от поиска дорожных знаков и выделения зданий на спутниковых снимках до классификации фотографий и оценки привлекательности контента. Работа ведётся с задачами Computer Vision, NLP и AI.
Задачи
•Проектировать, запускать и поддерживать процессы сбора, обработки, разметки и валидации данных
•Формулировать требования к датасетам вместе с командами Computer Vision, NLP и AI
•Определять критерии качества данных, организовывать проверки разметки и анализировать ошибки
•Оценивать скорость, стоимость и качество разметки, находить узкие места и улучшать процесс
•Проводить эксперименты с подходами к разметке, автоматизации и контролю качества, анализировать результаты и принимать решения
•Использовать LLM и другие инструменты автоматизации для ускорения подготовки и проверки данных
•Работать с асессорами и заказчиками: объяснять требования, собирать обратную связь и устранять проблемы в процессе
•Развивать типовые пайплайны и масштабировать успешные решения на новые задачи
•Поддерживать датасеты после запуска: расширять их при дрейфе данных, появлении новых сценариев и изменении требований к качеству модели
•Писать инструкции для асессоров, правила разметки и промпты для LLM
Требования
•Опыт работы с краудсорсинговыми проектами, разметкой данных или контролем качества разметки
•Умение декомпозировать неопределённую задачу на измеримый процесс: определять входные данные, правила, критерии приёмки и метрики качества
•Умение сопоставлять качество, скорость и стоимость разных подходов к разметке
•Python на уровне анализа данных, подготовки выборок и написания скриптов автоматизации
•Умение формулировать и тестировать промпты для LLM, оценивать качество результатов и учитывать ограничения такого подхода
•Умение вести несколько задач одновременно, расставлять приоритеты и управлять ожиданиями
•Умение вовлекать участников в решение задач и объяснять сложные вещи понятным языком
•Важны системное мышление, ответственность за результат и готовность разбираться в новых типах ML-задач
Будет плюсом:
•Знание принципов машинного обучения и жизненного цикла ML-моделей
•Опыт работы с датасетами для Computer Vision, NLP или генеративного AI
•Знание HTML, CSS и JavaScript
•Опыт разработки внутренних инструментов для разметки, валидации или контроля качества данных
•Опыт работы с метриками качества разметки, межаннотаторским согласием, аудитами ошибок или активным обучением
Условия
Условий в вакансии нет.
