О компании Cantina:
Cantina Labs — это социальная AI-компания, разрабатывающая набор передовых моделей в реальном времени, которые расширяют границы выражения, личности и реализма. Мы оживляем персонажей, трансформируя способы рассказа историй, общения и творчества. Мы создаём и поддерживаем экосистемы. Cantina, наша флагманская социальная AI-платформа, — это только начало.
О роли:
Cantina расширяется, и мы ищем инженера машинного обучения для присоединения к нашей растущей команде в Сингапуре! В этой роли вы будете создавать и масштабировать системы для сбора, обработки и доставки масштабных видео- и мультимодальных данных для обучения моделей. Вы будете отвечать за полный конвейер — от необработанного контента до курируемых, отфильтрованных и готовых к обучению наборов данных — с акцентом на скорость, надёжность, воспроизводимость и экономическую эффективность. Вы будете тесно сотрудничать с командами кураторства и моделирования для внедрения развивающихся рецептов наборов данных и итераций подходов, улучшающих результаты моделей.
Что вы будете делать:
•Проектировать и масштабировать распределённые конвейеры данных для предварительной обработки, генерации наборов данных и повторного обновления наборов данных
•Отвечать за оркестрацию рабочих процессов, планирование задач, мониторинг и восстановление после сбоев для масштабных задач обработки данных
•Реализовывать и поддерживать контейнеризированную инфраструктуру конвейеров с использованием Kubernetes или аналогичных систем оркестрации
•Оптимизировать облачное хранение данных и их перемещение между провайдерами (AWS, GCS или Azure) с учётом стоимости, пропускной способности и операционной эффективности
•Определять и внедрять лучшие практики для структуры хранения наборов данных, версионирования, кэширования, хранения и паттернов доступа
•Проектировать и реализовывать конвейеры кураторства, которые определяют, какой видео- и графический контент выбирается, фильтруется и сохраняется для обучения моделей, включая наборы данных пар изображение-текст, используемые в совместных режимах обучения
•Создавать и улучшать рабочие процессы генерации подписей и метаданных на основе VLM в масштабе для видео- и графических данных
•Разрабатывать и применять модели оценки качества и эстетики, семантическую фильтрацию на основе CLIP и другие методы извлечения сигналов для выбора данных
•Создавать инструменты для поддержки рабочих процессов дедупликации в масштабе, включая конвейеры близкой и точной дедупликации больших видеокорпусов
•Анализировать состав наборов данных, выявлять проблемы с качеством и совершенствовать логику кураторства для улучшения результатов обучения
•Определять и развивать стандарты того, что считается высококачественными, готовыми к обучению видео-данными в различных режимах обучения
Что вы принесёте с собой:
•Обширный практический опыт создания или масштабирования масштабных систем и конвейеров данных для машинного обучения, включая кураторство наборов данных, фильтрацию и улучшение качества
•Опыт работы с распределёнными фреймворками обработки данных, такими как PySpark или Ray, и инструментами оркестрации, такими как Airflow или аналогичными
•Знание контейнеризации и оркестрации контейнеров, включая Docker и Kubernetes
•Опыт работы с облачным хранением данных и вычислениями (AWS, GCS и/или Azure), включая компромиссы по стоимости, пропускной способности, структуре хранения и паттернам доступа
•Опыт работы с конвейерами генерации подписей на основе VLM или моделями оценки качества/эстетики для видео- или графических данных, включая кураторство наборов данных пар изображение-текст для совместного обучения изображений и видео
•Знание фильтрации на основе CLIP или эмбеддингов и техник семантического выбора данных
•Знание инструментов обработки видео и медиа, таких как FFmpeg, PyAV, DALI или OpenCV, и соответствующих библиотек, таких как Decord, torchvision, PyTorchVideo или torchaudio
•Свободное владение Python
•Сильные навыки решения проблем, коммуникации и документирования
Преимущества, которые мы предлагаем:
•Конкурентоспособная зарплата и щедрый пакет акций компании
•Личное время отдыха и оплачиваемые праздники
•Медицинская страховка
•Глобальная страхование путешествий: покрывает вас при международных поездках
•Ежемесячный расходный бюджет: 500 долларов США (~635 сингапурских долларов)
•Оборудование: всё необходимое оборудование для вашего домашнего офиса
