# Multiverse Computing
Multiverse — это хорошо финансируемая, быстрорастущая компания в области глубоких технологий, основанная в 2019 году. Мы являемся крупнейшей компанией по разработке квантового программного обеспечения в ЕС и были признаны CB Insights (2023 и 2025) одной из 100 самых перспективных компаний в области ИИ в мире.
В нашей команде более 180 сотрудников, и она продолжает расти, при этом коллектив полностью мультикультурный и международный. Мы создаём сверхэффективное программное обеспечение для компаний, стремящихся получить конкурентное преимущество с помощью квантовых вычислений и искусственного интеллекта.
Наши флагманские продукты, CompactifAI и Singularity, решают критически важные задачи в различных отраслях:
•CompactifAI — это революционный инструмент сжатия для базовых моделей ИИ, основанный на тензорных сетях. Он позволяет сжимать крупные системы ИИ — такие как языковые модели — делая их значительно более эффективными и портативными.
•Singularity — это платформа оптимизации на основе квантовых и квантово-вдохновлённых методов, используемая ведущими компаниями для решения сложных задач в финансах, энергетике, производстве и других сферах. Она бесшовно интегрируется с существующими системами и обеспечивает мгновенный прирост производительности на классическом и квантовом оборудовании.
Обзор вакансии
Мы ищем старшего инженера по большим языковым моделям (LLM) для присоединения к нашей исследовательской команде. Вы будете работать на всех этапах жизненного цикла модели: данные, распределённое обучение, дообучение, сжатие, оценка и эффективный вывод. Наши предыдущие работы включают сжатие и восстановление моделей с открытыми весами, дообучение с помощью SFT, RL и дистилляции, мультимодальное обучение, редактирование знаний и создание собственной семьи моделей. Приоритеты в исследованиях меняются быстро, поэтому мы ценим крепкую базу знаний больше, чем узкую специализацию. Когда это имеет смысл, мы публикуем статьи и выпускаем модели и код.
В качестве инженера LLM вы будете
•Обучать и дообучать LLM и мультимодальные модели на многозвенных GPU-кластерах с использованием SFT, оптимизации предпочтений, RL (например, GRPO), а также методов дистилляции на основе политики и офлайн.
•Разрабатывать методы сжатия (квантование, обрезка, обучение с учётом квантования, квантово-вдохновлённые методы на основе тензорных сетей) и рецепты восстановления качества сжатых моделей.
•Создавать среды RL, функции вознаграждения и верификаторы для задач рассуждения, программирования и агентных задач, а также расширять методы RL для моделей мира и Физического ИИ.
•Исследовать и прототипировать пост-трансформерные и гибридные архитектуры (модели состояния, линейное внимание, MoE), от маломасштабных абляций до рецептов масштабирования.
•Строить конвейеры обработки данных для курирования, фильтрации, удаления дубликатов и генерации больших объёмов синтетических данных.
•Проектировать строгие абляции и оценки на текущих наборах бенчмарков (рассуждение, программирование, длинный контекст, следование инструкциям, агентные задачи), а также внутренние оценки.
•Портировать и оптимизировать модели для вывода на различных ускорителях и edge-чипах, профилировать задержки, использование памяти и пропускную способность.
•Оформлять эксперименты и результаты в виде внутренних отчётов и, при необходимости, статей и открытых релизов.
•Проводить ревью кода, наставлять коллег и следить за последними исследованиями, а также внедрять их.
Требуемые квалификации
•Магистр или кандидат наук в области информатики, ИИ, математики, физики или смежных областях, либо эквивалентный опыт в индустрии.
•Старший уровень: более 4 лет практического опыта в обучении или дообучении трансформерных моделей.
•Глубокие знания PyTorch. Вы уверенно работаете ниже уровня библиотек: код моделей, кастомные функции потерь, настройка параллелизма.
•Опыт распределённого обучения (FSDP, DeepSpeed или Megatron-LM; параллелизм данных, тензоров, конвейера и экспертов) на многозвенных кластерах с Slurm/K8s.
•Практический опыт дообучения: SFT, DPO и как минимум один метод RL (PPO, GRPO или аналогичный).
•Крепкие математические основы в линейной алгебре, оптимизации и теории вероятностей, понимание динамики обучения.
•Хорошее понимание основ GPU: иерархия памяти, смешанная точность, профилирование, пропускная способность.
•Строгая экспериментальная практика: дизайн абляций, воспроизводимость, отслеживание экспериментов, оценка с учётом шума.
•Сильные навыки отладки и коммуникации. Свободное владение английским языком.
Желательные квалификации
Мы не ожидаем, что кто-то будет обладать всеми этими навыками. Наши исследования охватывают множество областей, и никто в команде не является экспертом во всех из них. Если у вас есть глубокий опыт в некоторых из них и отсутствует в других, мы всё равно хотим услышать вас.
•Опыт работы с NVIDIA стеком (Megatron-LM, Megatron Bridge, NeMo RL, NeMo Gym, NeMo Curator) или аналогичными фреймворками (verl, TRL, OpenRLHF).
•Инфраструктура RL: движки rollout (vLLM, SGLang), асинхронный RL, проектирование моделей вознаграждения и верификаторов, агентные среды.
•Сжатие моделей: пост-тренировочное квантование и QAT (GPTQ, AWQ, FP8/FP4), обрезка, дистилляция, методы низкого ранга или тензорных сетей.
•Пост-трансформерные архитектуры: SSMs/Mamba, линейное внимание, гибридные модели, диффузионные языковые модели.
•Физический ИИ: модели зрения-языка-действия, модели мира (например, в стиле JEPA или видео модели мира), симуляция робототехники.
•Обучение мультимодальных моделей (зрение-язык, аудио).
•Вывод на альтернативном оборудовании: ExecuTorch, llama.cpp, ONNX Runtime, OpenVINO, SDK NPU от производителей, кастомные ядра (Triton, CUDA).
•Обработка больших данных и генерация синтетических данных в больших масштабах.
•Инструменты оценки (lm-evaluation-harness, lighteval, NeMo Evaluator) и знакомство с Artificial Analysis.
•Публикации на ведущих конференциях (NeurIPS, ICML, ICLR, ACL и др.), заметные вклады в open-source или модели, выпущенные на Hugging Face.
•Знание испанского языка.
