О команде
Команда разрабатывает сложные программно-аппаратные системы и ML/CV-решения. Ищем Инженера данных, который будет отвечать за построение и автоматизацию пайплайнов подготовки больших объемов фото- и видеоданных для последующей разметки и обучения ML-моделей.
Обязанности
•разрабатывать на Python пайплайны для сбора, обработки и подготовки данных;
•автоматизировать поиск, фильтрацию и передачу больших файлов с удаленных серверов;
•извлекать и обрабатывать фото- и видеоданные из ROS bag;
•автоматизировать отбор и подготовку данных для разметки;
•организовывать загрузку данных и метаинформации в S3-совместимое объектное хранилище;
•интегрировать пайплайны с CVAT и другими инструментами разметки через API;
•вести каталог обработанных данных и метаданных;
•оптимизировать обработку больших объемов данных, в том числе не помещающихся в оперативную память.
Требования
•уверенное владение Python;
•опыт разработки ETL/data pipelines;
•опыт работы с большими файлами и объемами данных;
•понимание асинхронного и многопоточного программирования;
•опыт работы в Linux-среде.
Будет плюсом
•опыт с ROS 1/2 и rosbag: топики, сообщения, извлечение и синхронизация данных с камер и других сенсоров;
•опыт работы с S3-совместимыми хранилищами и boto3;
•OpenCV и/или ffmpeg;
•опыт обработки изображений и видео;
•понимание подходов к хранению и организации метаданных: JSON/JSONL, Parquet и др.;
•опыт интеграции с CVAT, Label Studio, Supervisely или другими платформами разметки;
•опыт работы с данными для Computer Vision/ML.
Условия
•оформление в соответствии с ТК РФ;
•конкурентный уровень заработной платы - на уровне лидеров ИТ/телеком-индустрии;
•комфортный современный офис.
