О компании Telnyx
Telnyx — лидер отрасли, который не просто представляет будущее глобальной связи — мы его создаём. От проектирования и расширения охвата частной, глобальной, мультиоблачной IP-сети до предоставления гиперлокальных edge технологий прямо у вас под рукой через интуитивно понятные API, мы формируем новую эру бесшовного взаимодействия между людьми, устройствами и приложениями.
Нас движет желание трансформировать и модернизировать устаревшее, автоматизировать ручные процессы и решать реальные задачи с помощью инновационных решений в области связи. Мы являемся финансово стабильной и прибыльной компанией, что позволяет нам инвестировать в передовые технологии и создавать среду для постоянного обучения и развития команды.
Архитектор инфраструктуры вывода (Inference Infrastructure Architect)
Старший / ведущий · Удалённо — материковый Китай · Основатель команды в Китае
Telnyx управляет собственным парком B300 — нашим оборудованием, в наших дата-центрах, с полным контролем от железа и с глобальным расширением. Эта роль существует для того, чтобы превратить этот парк в полезную пропускную способность: трафик собственных AI-агентов Telnyx в голосовой и мессенджерной сети, а также вывод моделей для внешних клиентов за токен-гейтвеем, выделенные развертывания и настроенные модели.
У вас есть две задачи:
•Эффективно эксплуатировать и расширять парк. Максимизировать полезную пропускную способность вывода на каждый доллар GPU, соблюдая SLO по задержкам и надёжности, и постоянно снижать стоимость за токен.
•Обеспечить работу продукта на этой инфраструктуре. Безсерверный вывод для каталога с открытыми весами и выделенные, настроенные развертывания моделей для корпоративных клиентов.
Стек открыт, от bare metal до совместимого с OpenAI эндпоинта. Вы работаете с верхними слоями этого стека.
Что вы будете создавать
•Безсерверные пулы обслуживания. Движки vLLM / SGLang с непрерывной пакетной обработкой, кэшированием префиксов, обслуживанием с низкой точностью (FP8, FP4, INT4) и параллелизмом MoE экспертов, обслуживающие вершину каталога с открытыми весами в мультиарендной среде.
•Слой парка. llm-d / NVIDIA Dynamo на Kubernetes Gateway API: маршрутизация с учётом KV-кэша, разделение этапов prefill/decode, уровни KV (Mooncake), и мульти-LoRA обслуживание, чтобы сотни адаптеров клиентов могли использовать один базовый пул.
•Платформа под этим. Kubernetes на bare metal: GPU Operator, планирование с учётом топологии, LeaderWorkerSet, Kueue; Kata Containers для изолированных выделенных арендаторов; жизненный цикл bare-metal с OpenStack Ironic.
•Логистика весов и эластичность. P2P распределение моделей (Dragonfly, потоковая передача safetensors), тёплые пулы и автоскейлинг, основанный на метриках вывода — глубина очереди, заполненность KV, TTFT — никогда не CPU.
•Выделенный уровень. Пулы на арендатора, учёт GPU-часов, SLO по задержкам, приватные сети; и сторона обслуживания цикла настройки модели: версионирование адаптеров, канареечный релиз, откат при ухудшении результатов.
•Наблюдаемость и экономика. Метрики DCGM и движков в Prometheus / OpenTelemetry; планирование ёмкости, основанное на математике roofline — декодирование, ограниченное пропускной способностью, кривые пакетной обработки, использование ресурсов против стоимости за токен.
Стек, с которым вы будете работать
Часть из этого — заданное направление: Kubernetes на bare metal, vLLM / SGLang, совместимый с OpenAI эндпоинт. Большую часть остального вы будете оценивать самостоятельно. Вы будете выбирать, тестировать и интегрировать компоненты, которые заслужат место в продакшене. Мы ценим глубину знаний в основном стеке обслуживания и здравое архитектурное мышление, а не опыт со всеми перечисленными проектами.
•Движки: vLLM · SGLang
•Методы обслуживания: разделение prefill/decode · широкий экспертный параллелизм · спекулятивное декодирование (MTP, EAGLE-3) · низкая точность (FP8, FP4, INT4)
•Библиотеки MoE и внимания: DeepEP · DeepGEMM · EPLB · FlashMLA
•Маршрутизация и обслуживание: llm-d · NVIDIA Dynamo · Kubernetes Gateway API · Envoy · Ray Serve / KubeRay
•KV-кэш и веса: Mooncake · HiCache · 3FS · Dragonfly
•Планирование и совместное использование GPU: Kubernetes · Volcano · Kueue · LeaderWorkerSet · HAMi
•Изоляция и bare metal: Kata Containers · OpenStack Ironic · NVIDIA GPU Operator
•Наблюдаемость: Prometheus · Grafana · DCGM · OpenTelemetry
Что мы ищем
•Вы управляли продакшеном LLM-обслуживания под значительной нагрузкой и с ограничениями по задержкам, и можете объяснить архитектуру, выявленные узкие места, внесённые изменения и достигнутые улучшения в задержках, надёжности или стоимости. Масштаб в тысячи GPU или миллионы запросов в день — сильный плюс, но не обязательное требование.
•Опыт работы с Kubernetes на GPU-парках, полный цикл эксплуатации: GPU Operator, device plugins, node pools и планирование с учётом топологии, gang scheduling (LeaderWorkerSet, Kueue), GitOps релизы и умение отлаживать, почему под запущен именно на этом узле.
•Глубокое владение vLLM или SGLang: развертывание, настройка и обновление (параллелизм TP / EP, квантизация, настройки пакетов и KV-кэша, кэширование префиксов, разделение этапов), и понимание, как изменение параметров влияет на метрики.
•Инженерия производительности на системном уровне: вы читаете метрики движка и DCGM, рассуждаете с помощью roofline модели и оцениваете размеры развертываний численно.
•Python и Go для автоматизации; глубокие знания Linux, сетей и хранения данных. Вам не нужно писать CUDA, но нужно понимать, когда проблема связана с CUDA, и направлять её дальше.
•Вы работаете с сообществом на английском и китайском языках, и пишете руководства и проектную документацию, которую действительно читают.
Особенно ценим опыт
•Эксплуатация платформ вывода на уровне Ant Group, Alibaba Cloud / PAI, Tencent, ByteDance, Baidu, Huawei, DaoCloud, Moonshot, DeepSeek или аналогичных команд.
•Участие в разработке или активное использование в продакшене любого из: vLLM, SGLang, llm-d, NVIDIA Dynamo, Ray / KubeRay, Kata Containers, Volcano, Kueue, HAMi, Dragonfly, Mooncake, Envoy.
•Активность в сообществе CNCF / OpenInfra: выступления на KubeCon China, OpenInfra Days, митапах vLLM или SGLang.
Желательно
•Инфраструктура для тонкой настройки / RL: пайплайны LoRA, системы оценки, канареечные релизы champion/challenger.
•Работа с задержками в реальном времени для голосовых вызовов: бюджеты времени до первого токена менее секунды на живых звонках.
•Мульти-региональные развертывания и требования к локализации данных.
Что мы предлагаем
•Новейшее оборудование, наше собственное от железа и выше. Глобально расширяющийся парк B300, который Telnyx строит и эксплуатирует полностью самостоятельно. Примените свой опыт оптимизации сложных производственных нагрузок в парке, где вы формируете архитектуру от bare metal до клиентского эндпоинта.
•Владейте платформой, стройте команду. Зеленое поле для платформы вывода, где вы задаёте образец, которому следуют другие. Как основатель команды в Китае, вы также участвуете в выборе новых членов и организации работы команды.
•Открытый исходный код в приоритете. Вклад в upstream — часть работы, поддерживается участие в конференциях.
•Базируемся в материковом Китае, переезд не требуется. Вы работаете удалённо с глобальной, асинхронной командой. Если захотите переехать, у нас есть юридические лица в Нидерландах, США, Ирландии и Саудовской Аравии, и мы спонсируем визы.
При подаче заявки
Включите краткое описание системы вывода, которую вы лично улучшали: узкое место, ваше вмешательство и измеренный результат. Анонимный пример приветствуется.
