vLLM推送式KV传输降低推理延迟
热点事件持续更新
vLLM推送式KV传输降低推理延迟
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
AWS介绍并讲解了vLLM的推送式NIXL连接器：解码端提前选定目标块后，系统在后台线程完成KV缓存传输的准备与提交，以减少分离式预填充与解码关键路径上的等待。在Amazon EC2 P5en集群使用Qwen3-32B、1P1D部署和EFA的测试中，相较拉取模式，首 token 时间（TTFT）最高改善3倍，每输出 token 时间（TPOT）最高改善30%，但效果随工作负载和配置而变。 该连接器适用于能够提前选择解码节点、优先降低TTFT的场景；需要双向KV传输，或希望在预填充结束后再按负载选择解码实例时，拉取式连接器仍更合适。
AI 根据报道生成 · 1 小时前更新
最新进展10月20日 00:05
vLLM 推送式 KV 传输如何改善分离式推理的 TTFT 和 TPOT报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- AWS Machine Learning BlogvLLM 推送式 KV 传输如何改善分离式推理的 TTFT 和 TPOT
vLLM 的推送式 NIXL 连接器通过提前注册解码端目标块，并将传输准备和提交移至后台线程，降低分离式预填充与解码中的关键路径延迟。在 Amazon EC2 P5en、Qwen3-32B 和 1P1D 部署的 EFA 集群测试中，相比拉取模式，TTFT 最高改善 3 倍，TPOT 最高改善 30%。文章介绍了架构、传输流程、线程模型、性能数据及复现实验的方法。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。