跳到正文
MIT Technology Review · AI· Tim Rausch·· 4 小时前AI 评分43

AI 推理的隐性存储成本:模型响应后留下什么

AI’s hidden storage bill: What inference leaves behind

AI 导读

AI 推理会持续累积提示词、生成结果与日志,存储成本可能远超用户看到的输出。WD 测量显示,8 秒、3.97MB 的 720p 视频会在后端留下超过 500MB 数据,是输出文件大小的 130x;McKinsey 预计 AI 推理需求到 2030 年将以 35% CAGR 增长,占数据中心需求超过 40%。

来源:MIT Technology Review · AI · technologyreview.com