文档中心 / AI 热点雷达 / SGLang 发布 Low-Latency Mode，通过插件框架在 NVIDI…

SGLang 发布 Low-Latency Mode，通过插件框架在 NVIDIA 和 AMD GPU 上降低推理延迟

来源：LMSYS Blog · 时间：2026-10-17T16:00:00.000Z

事件速览

SGLang 团队推出 Low-Latency Mode，通过插件框架引入专用内核，在 NVIDIA GB300 和 AMD MI355X GPU 上显著降低推理延迟。