О нас
Переосмысление инженерии для эпохи интеллекта
PhysicsX — это компания, занимающаяся физическим искусственным интеллектом для промышленности. Миссия компании — ускорить инновации в аппаратном обеспечении, полностью изменив то, как сегодня выглядят промышленное проектирование и производство. PhysicsX создает новый стек программного обеспечения для моделирования, чтобы обеспечить глубокое внедрение физического ИИ на протяжении всего жизненного цикла инженерных разработок. Компания сотрудничает с ведущими организациями в аэрокосмической и оборонной промышленности, автомобильной отрасли, полупроводниках, материалах, а также в энергетике и возобновляемых источниках энергии, поддерживая их в решении одних из самых критичных и сложных задач. Штаб-квартира PhysicsX находится в Великобритании, с офисами в Лондоне, Нью-Йорке и Сингапуре, а также расширяющимся присутствием в районе залива Сан-Франциско.
Роль
Вы будете создавать слой доступа к большим языковым моделям (LLM) для агентов на платформе PhysicsX. Этот слой обслуживает самостоятельно размещённые открытые модели и направляет каждую задачу к модели или комбинации моделей, которые наилучшим образом соответствуют её ограничениям.
Мы хотим привлечь глубокий опыт работы в продакшене с самостоятельным обслуживанием LLM и маршрутизацией моделей в PhysicsX. Вы создадите возможность надежного запуска открытых моделей и выбора между самостоятельно размещёнными и внешними моделями в зависимости от потребностей каждой рабочей нагрузки. Вы определите техническое направление для движков вывода, таких как vLLM и SGLang, а также платформ обслуживания, таких как KServe. Вы построите фундамент, на который смогут опираться продуктовые, сервисные и клиентские команды.
Вы будете владеть обоими аспектами. Вы изучите наши требования и определите реализацию, а не будете наследовать заранее заданный дизайн шлюза. Вы интегрируете обслуживание и маршрутизацию в существующую платформу, системы идентификации и наблюдаемости.
В ближайшей перспективе вы обеспечите работу агентских возможностей платформы «из коробки», без необходимости предоставления клиентом API-ключа. В долгосрочной перспективе вы построите слой обслуживания в гибкий фундамент маршрутизации, который будет балансировать конкурирующие приоритеты, такие как стоимость, качество и чувствительность данных, по мере изменения наших потребностей.
Что вы будете делать
•Обеспечивать работу самостоятельного обслуживания и маршрутизации моделей в изолированных (air-gapped) развертываниях, включая площадки, где аппаратное обеспечение, подключение и операционная настройка требуют ограниченных решений.
•Отвечать за упаковку, регистрацию, развертывание, проверки состояния, обновления, откаты и вывод из эксплуатации поддерживаемых LLM.
•Оценивать и интегрировать платформы обслуживания, такие как KServe, включая сервисы вывода, среды выполнения обслуживания, загрузку моделей и управление развертыванием.
•Определять, моделировать и реализовывать уровни сервиса для доступности, качества и показателей производительности (например, время до первого токена, задержка между токенами и максимальная задержка).
•Измерять и улучшать пропускную способность, использование GPU, использование памяти и стоимость за токен при типичных нагрузках агентов.
•Настраивать непрерывную и пакетную обработку, кеширование KV и префиксов, квантизацию, спекулятивное декодирование и параллелизм тензоров, данных или экспертов там, где это уместно.
•Оценивать продвинутые техники, такие как маршрутизация с учётом кеша и разъединение предварительной загрузки/декодирования, когда нагрузка оправдывает их сложность.
•Строить автоскейлинг, контроль приёма и управление ёмкостью на основе сигналов GPU и обслуживания, а не общих метрик CPU.
•Делать каждое решение о маршрутизации наблюдаемым и объяснимым, использовать данные оценки перед добавлением специализированных маршрутов.
•Работать с исследовательскими и специалистами по посттренировочной настройке для продвижения кандидатных и настроенных моделей через оценку к поддерживаемым производственным маршрутам.
•Помогать определять, как должна развиваться эта возможность, и со временем формировать команду вокруг неё.
Что вы приносите
Где вы должны быть сильнее всего
•Вы управляли движками вывода, такими как vLLM или SGLang, или платформами обслуживания, такими как KServe, под нагрузкой продакшена с ограничениями по задержкам и надежности.
•Вы можете объяснить границу между оркестрацией обслуживания и выполнением вывода, включая то, как развертывание, масштабирование и конфигурация во время выполнения влияют на производительность.
•Вы создавали или управляли маршрутизацией моделей между более чем одним провайдером и можете объяснить, как вы балансировали стоимость, качество, задержку, отказоустойчивость и политику.
•Вы можете описать архитектуру обслуживания, которую эксплуатировали, узкие места, которые обнаружили, изменения, которые внесли, и измеренный эффект на задержку, пропускную способность, надежность или стоимость.
•Вы понимаете вывод LLM как системную задачу: пакетирование, планирование, поведение кеша KV, давление на память, параллелизм моделей и использование GPU.
•Вы создавали и управляли нагрузками на GPU в Kubernetes, включая развертывание, масштабирование, наблюдаемость и восстановление после сбоев.
•Вы можете превратить быстро меняющиеся движки с открытым исходным кодом и API провайдеров в поддерживаемый продукт с версионированием, тестированием совместимости, откатом и чёткими операционными границами.
•Вы сильный системный инженер, который остаётся вовлечённым в архитектуру, реализацию, профилирование и отладку в продакшене.
•Ваш опыт значительно превосходит локальные запускатели моделей или демонстрации; инструменты вроде Ollama не заменяют владение обслуживанием в продакшене.
Основы
•Хорошее знание Python и системного языка, такого как Go, Rust или C++.
•Основы Linux, контейнеров, Kubernetes, сетей, хранения данных и распределённых систем.
•Наблюдаемость GPU и анализ производительности на уровне движка, системы и ускорителя.
•Форматы моделей, квантизация, токенизация и совместимые с OpenAI API для обслуживания.
•Управление трафиком, потоковая передача, защита от перегрузок, проверки состояния и восстановление после сбоев.
•Интеграция с существующими системами идентификации, авторизации, секретов и изоляции рабочих нагрузок.
•Чёткое техническое письмо, обзор дизайна, реагирование на инциденты и межкомандное общение.
Желательно иметь
•Вклад в проекты KServe, vLLM, SGLang или смежные проекты по выводу, шлюзам или оркестрации.
•Опыт модификации внутренностей движков, профилирования ядер или диагностики проблем CUDA и коллективной коммуникации.
•Опыт работы с моделями mixture-of-experts, экспертным параллелизмом, спекулятивным декодированием или разъединённым обслуживанием.
•Опыт маршрутизации по политике чувствительности данных, сигналам оценки или рабочим процессам обзора нескольких моделей.
•Опыт обслуживания моделей в средах, управляемых клиентом, регулируемых или полностью изолированных.
•Знакомство с Kata Containers, конфиденциальными вычислениями или сильной изоляцией нескольких рабочих нагрузок.
•Опыт интеграции обслуживания с посттренировочными развертываниями и оценочными нагрузками.
