自适应并行推理：高效推理扩展的下一范式

Berkeley AI Research 分析自适应并行推理，探索让 LLM 自主决定何时分解任务、生成多少并发推理线程及如何协调。现有的 Best-of-N、MCTS 和 GroupThink 等方法，通常将并行结构或搜索策略预设在模型之外，难以适应不同问题。 sequential 推理还可能带来上下文退化、延迟和计算成本上升。