Описание
Роль связана с инфраструктурой, пайплайнами и качеством данных для обучения современных Vision-Language Models. Работа ведётся с большими мультимодальными датасетами и потребностями исследователей и ML-инженеров.
Задачи
•Собирать и структурировать потребности ML-команды в данных для обучения, дообучения, оценки и улучшения VLM
•Предлагать и реализовывать пайплайны очистки, фильтрации, дедупликации, категоризации и генерации данных
•Ориентироваться в практиках построения датасетов для Vision-Language Models
•Отвечать за инфраструктуру хранения и подготовки данных
•Импортировать данные из production, Common Crawl, наборов данных с открытым исходным кодом и сгенерированных данных
•Валидировать данные и контролировать их качество
•Хранить и версионировать датасеты
•Экспортировать данные в форматы для обучения моделей
•Проектировать и реализовывать пайплайны обработки данных в масштабе десятков миллиардов изображений
•Разрабатывать пайплайны генерации синтетических данных для обучения и улучшения VLM
•Собирать статистику, строить отчёты и визуализации для анализа состава, качества и покрытия датасетов
•Обеспечивать воспроизводимость, наблюдаемость и надёжность процессов обработки данных
•Работать с ML-инженерами, исследователями и инфраструктурной командой
Требования
•Сильный опыт в инженерии данных и построении производственных пайплайнов данных
•Уверенное владение Python, включая многопроцессность, многопоточность и асинхронные подходы
•Опыт работы с большими объёмами данных и распределённой обработкой
•Практический опыт работы с объектными хранилищами, в частности S3 или аналогами
•Опыт работы с YTsaurus или похожими системами распределённого хранения и обработки данных
•Понимание принципов валидации, очистки, дедупликации и версионирования наборов данных
•Опыт работы с DVC, Git, Docker
•Опыт работы с PostgreSQL или другими реляционными базами данных
•Умение проектировать устойчивые пайплайны от импорта данных до экспорта в формат для обучения
•Способность самостоятельно разбираться в нечетко сформулированных задачах и доводить их до работающего решения
•Готовность работать на стыке инженерии и исследований машинного обучения
Будет плюсом
•Опыт работы с мультимодальными данными, понимание современных датасетов для VLM / LMM / мультимодальных моделей
•Построение пайплайнов генерации синтетических данных
•Реализация оценки качества, фильтрации, семантической дедупликации, кластеризации или атрибуции данных
•Визуализация статистики больших датасетов и создание внутренних аналитических панелей
•Работа с Common Crawl, датасетами наподобие LAION и открытыми наборами vision-language данных
•Базовое понимание процесса обучения ML-моделей и влияния качества данных на качество модели
Условия
•Ежегодный пересмотр зарплаты и годовая премия
•Корпоративный спортзал и зоны отдыха
•Более 400 образовательных программ СберУниверситета
•Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
•Ипотека выгоднее до 7% для каждого сотрудника
•Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнёров
•Вознаграждение за рекомендацию друзей в команду Сбера
•Возможность быть соавтором НИРов и статей для международных конференций
