Описание
Наша команда разрабатывает инструмент для тестирования автономной технологии - симулятор. Нам нужно достичь максимальной реалистичности нашего виртуального мира с точки зрения физики, качества изображения, данных с сенсоров и просто поведения окружающих объектов. Мы ищем ML/DL инженера в команду симулятора - наша задача построить единый продукт валидации технологии автономного вождения на разных уровнях, в том числе на интеграционном, когда запускаются системы распознавания. Для этого нам необходимо добиться максимальной реалистичности данных с сенсоров - лидаров, камер и радаров.
Задачи
•Исследование и разработка методов 3D-реконструкции и нейронного рендеринга на основе Gaussian Splatting / NeRF и смежных подходов
•Разработка методов novel view synthesis для генерации изображений с виртуальных положений и траекторий камеры
•Работа с динамическими сценами: движущимися автомобилями, пешеходами и другими объектами
•Работа с мультимодальными данными автономного автомобиля: камеры, LiDAR, в перспективе radar
•Разработка и обучение диффузионных моделей img2img и video2video
•Участие в code review, в составлении документации и в других активностях отдела
•Оптимизация inference/training pipeline по скорости, памяти и качеству реконструкции
•Взаимодействие с другими подразделениями для решения поставленных задач (разметка данных, интеграция решений и т.д.)
Требования
•Уверенное знание PyTorch и опыт самостоятельной разработки и обучения DL-моделей
•Хорошее понимание современных архитектур компьютерного зрения: CNN, Transformers, diffusion models
•Понимание основ 3D computer vision: системы координат, camera models, intrinsic/extrinsic calibration, проекции и преобразования
•Хорошее знание Python и базовое понимание Linux/Git/Docker
•Понимание методов оценки image/video generation: PSNR, SSIM, LPIPS, FID/FVD и perceptual metrics
Будет плюсом
•Опыт работы с 3D Gaussian Splatting, dynamic Gaussian Splatting, NeRF и neural rendering
•Знание CUDA / C++ и опыт оптимизации GPU workloads
•Публикации или практический исследовательский опыт в областях 3D-реконструкция, нейронный рендеринг, генеративные модели, автономное вождение
•Опыт работы с большими моделями (VLM / LLM / диффузионные модели)
Условия
Условий в вакансии нет
