跳到正文
The Decoder· Jonathan Kemper·· 3 小时前AI 评分56

研究发现,复杂编码智能体 harness 增加成本但未提高通过率

Fancy harnesses make coding agents more expensive but not better, study finds

AI 导读

一项研究发现,Claude Code、OpenCode 和 mini-SWE-agent 的编码智能体通过率差异多数落在重复运行噪声内。研究将 5 个模型运行在 3 种 harness 上,覆盖 SWE-bench Verified 最难的 45 项任务和另外 447 项任务,并让部分配置重复运行以测量波动。

来源:The Decoder · the-decoder.com