Latent Space· Latent Space·· 2 天前精选AI 评分81
DeepSeek开源DeepInfer生产推理框架
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek开源用于V4.1 Flash的生产推理框架DeepInfer，并披露单集群每天服务155T tokens、支持最长72小时提示词缓存等数据。框架提供分布式推理、推测解码、SWA Bounded Replay、结构化输出及deepseek-recipe，但关键的KV cache管理、预填充与解码分离和负载均衡仍需部署方补充。
推荐理由
原文拆解了DeepInfer的缓存、调度与分层架构，并对照vLLM复现结果审视高吞吐和高毛利说法，适合部署与成本评估参考。
来源：Latent Space · latent.space