REMORY记忆网络

REMORY是一种用于长程代理上下文压缩的神经记忆网络，通过在文本摘要后追加有界的软记忆令牌（soft memory tokens），模拟序列维度上的残差连接。该机制旨在解决传统文本摘要无法支持所有后续决策的问题，使冻结的大语言模型在仅使用5.2%输入位置的情况下逼近全上下文表现。

【背景】长程代理需在有限上下文窗口内工作，常通过“/compact”等指令将历史交互替换为文本摘要以释放空间，但纯文本检查点可能丢失对特定决策至关重要的早期上下文细节。

时间线上，2026年10月8日，Hanchen Xia等人在arXiv发布预印本《REMORY: Learning Residual Memory for Context Compaction》，提出该方法。随后于10月9日，AI Weekly报道其核心指标：在SummHay基准上，REMORY在保持洞察覆盖率几乎不变的同时显著提升源归因准确性；在BrowseComp和Terminal-Bench 2.1测试中，Qwen3.8-27B和GLM-5.3-Flash模型接入该记忆网络后，重复工具输出和工具错误大幅减少，且GLM-5.3-Flash性能接近前沿水平。

争议与验证点在于：虽然论文声称“一致增益”，但摘要未公布每个任务的具体数值对比，仅提供了聚合趋势。此外，该方法依赖额外的训练好的小型神经网络（如针对Qwen的1.9B参数网络）来生成软令牌，这增加了推理时的计算开销，需权衡内存效率与额外算力成本。

后续可观察：GitHub仓库1ring2rta/Remory的代码更新及Hugging Face上发布的检查点（如mocoV3/Qwen3.8-27B-REMORY-1.9B）的实际部署反馈；以及同行评审或独立复现中对“5.2%输入位置”这一关键指标在不同复杂任务下的稳定性验证。