Google提出大模型“睡眠”学习框架
热点事件持续更新
Google提出大模型“睡眠”学习框架
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Google Research提出“睡眠框架”，让大语言模型在交互学习与离线“睡眠”间交替，将短期上下文巩固为长期参数；实验显示，该方法可保留最长1000万tokens的长上下文知识，并提升复杂推理能力。 框架通过扩展MoE参数、结合GKD与RL模仿学习整合记忆，并在“做梦”阶段利用合成样本和SFT改进推理。上述保留与推理提升效果来自其实验结果。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 01:35
Google Research 提出 sleep framework：让 LLM 在持续学习中保留知识报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Google ResearchGoogle Research 提出 sleep framework：让 LLM 在持续学习中保留知识
Google Research 提出 sleep framework，让 LLM 在活跃交互与离线“睡眠”间交替，持续学习并将短期上下文巩固为长期参数。框架通过 MoE 参数扩展、GKD 与 RL 模仿学习完成记忆整合，并在“做梦”阶段用合成样本和 SFT 改进推理。实验显示，该方法可保留最长 10M tokens 的长上下文知识，并提升复杂推理能力。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。