Voltic记忆架构

Voltic是一种新型循环记忆架构，旨在通过区分“波动性”（关联变化的速度）与“随机性”（观测噪声的大小）来优化序列模型的内存写入机制。该架构由Parsa Hejabi等人提出，核心在于将门控delta规则记忆的更新视为各向同性不确定性下的卡尔曼滤波，进而引入保持协方差各向异性且使噪声方差依赖于输入的Voltic模型。【背景】传统循环模型在决定每个token的内存覆盖强度时，往往难以平衡对快速变化信息的响应与对噪声的抑制。

在实现上，为避免密集协方差逐token传播导致的并行训练失效，研究团队提出了对角和准对角两种假设密度近似方法，使内存更新仍保留delta规则形式并复用分块内核。实验显示，在关联变化且观测受污染的受控召回任务中，Voltic领先所有基线；在结合波动性与随机性的任务中，其在外推尺寸上的优势大于训练尺寸。在4500万参数的语言模型中，Voltic在八项推理任务的平均表现上领先，并在超出训练上下文长度时实现了比门控基线更高的检索准确率，同时吞吐量接近基线水平。这一进展表明，从不确定性递归推导写入机制能使内存对变化更敏感。