vLLM 推送式 KV 传输如何改善分离式推理的 TTFT 和 TPOT

vLLM 的推送式 NIXL 连接器通过提前注册解码端目标块，并将传输准备和提交移至后台线程，降低分离式预填充与解码中的关键路径延迟。在 Amazon EC2 P5en、Qwen3-32B 和 1P1D 部署的 EFA 集群测试中，相比拉取模式，TTFT 最高改善 3 倍，TPOT 最高改善 30%。文章介绍了架构、传输流程、线程模型、性能数据及复现实验的方法。