延迟压缩记忆法CoEM,长文推理F1自测提升逾10分
读者现在可以了解CoEM这种长上下文记忆管理方法:先原样暂存可能有用的原文片段,等后续内容确认其相关性,再决定写入压缩记忆或丢弃,避免过早压缩丢掉关键细节,作者自测F1提升10分以上。
以往的做法是尽早压缩记忆,可能在证据相关性尚未明朗时就丢弃关键细节,造成长文推理信息损失。
作者用强化学习训练这套决定策略,并加一个冻结校验器,只接受有原文支撑的记忆事实。在6400份文档的长输入上,作者自测其在Qwen3.5-9B上比最强记忆基线高10.4至11.4个F1点。
实验只覆盖Qwen3.5-9B一个模型和6400文档这一种输入长度,其他模型和更短或更长的上下文表现未知,效果尚无独立复现;代码已在GitHub开源,可据此验证。
信息源:arxiv.org