Google Research 提出 sleep framework：让 LLM 在持续学习中保留知识

Google Research 提出 sleep framework，让 LLM 在活跃交互与离线“睡眠”间交替，持续学习并将短期上下文巩固为长期参数。框架通过 MoE 参数扩展、GKD 与 RL 模仿学习完成记忆整合，并在“做梦”阶段用合成样本和 SFT 改进推理。实验显示，该方法可保留最长 10M tokens 的长上下文知识，并提升复杂推理能力。