阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · Voltic记忆架构1 分钟阅读·2026-10-06

Voltic区分记忆波动与噪声

新预印本提出Voltic架构,通过区分波动性与随机性优化循环记忆,在小模型推理中领先基线。

重要性局部证据E2 未复现写法快讯

2026-10-06 12:00

Voltic架构在45M参数语言模型中,于八项推理任务平均表现及长上下文检索准确率上超越门控基线。

传统循环记忆(如Gated Delta-Rule)将不确定性视为各向同性,无法区分“关联变化速度”(波动性)与“观测噪声”(随机性)。这导致记忆更新策略过于僵化,难以适应动态环境。

作者提出Voltic,保留协方差各向异性并使噪声方差依赖输入,从而让写入操作携带累积不确定性。为保持并行训练效率,采用对角和准对角近似,复用现有分块内核。

该结果基于作者自测的受控召回任务和小型模型实验,尚未见独立复现或大规模部署验证。

来源

  • 原始出处arxiv.org↗
专题

Voltic记忆架构

Voltic是一种新型循环记忆架构,旨在通过区分“波动性”(关联变化的速度)与“随机性”(观测噪声的大小)来优化序列模型的内存写入机制。该架构由Parsa Hejabi等人提出,核心在于将门控delta规则记忆的更新视为各向同性不确定性下的…

2 节点1 篇更新于 2026-10-08 20:19

事情怎么走到这一步

  1. 2026-10-05arXiv预印本《Voltic: Distinguishing Volatility from Stochasticity in Recurrent Memory》提交,提出Voltic架构。
  2. 2026-10-06新闻摘要指出Voltic通过区分波动性与随机性优化循环记忆,在小模型推理中领先基线。

还没定论的部分

  • Voltic架构在更大规模参数模型(如数十亿参数)中的扩展性和性能表现如何?
登录 / 注册
阅读研究雷达投资体系
  • 对角和准对角近似方法在极端长序列场景下是否会累积显著误差?
  • 该架构是否已被集成到主流开源框架或实际生产环境中?
  • 读完整专题 →
    带入研究 →