Ai2 研究 LLM 判断研究想法新颖性的可靠性

Ai2 发布《Old Ideas, Novel Problems》研究及配套基准、数据和代码，用于评估 LLM 判断科研想法新颖性的可靠性。结果显示，仅改写提示词就可能使 GPT-5.4 在 Human+Generated 数据集上的准确率从 93.5% 降至 40.9%，增加检索和推理预算也未稳定提升判断效果。