预印本提出延迟压缩记忆法,长文推理F1提升逾10分
CoEM把压缩决定推迟到证据被后续上下文确认之后,作者自测F1提升10分以上,效果待独立复现。
预印本CoEM提出一种长上下文记忆管理方法:先原样暂存可能有用的原文片段,等后续内容确认其相关性,再决定写入压缩记忆或丢弃,避免过早压缩丢掉关键细节。
作者用强化学习训练这套决定策略,并加一个冻结校验器,只接受有原文支撑的记忆事实。在6400份文档的长输入上,作者自测其在Qwen3.5-9B上比最强记忆基线高10.4至11.4个F1点。
实验只覆盖Qwen3.5-9B一个模型和6400文档这一种输入长度,其他模型和更短或更长的上下文表现未知;代码已在GitHub开源,可据此验证。