RAM-Net架构

【背景】传统线性注意力模型将无限历史压缩为固定大小状态，导致令牌间干扰和信息丢失。香港中文大学团队提出RAM-Net架构，通过“稀疏可寻址状态”解决这一瓶颈。

该架构于2026年2月12日首次提交arXiv，并于10月7日发布修订版v2，正式被NeurIPS 2026接收。其核心创新在于引入地址解码器，将输入映射为高维稀疏向量作为显式地址，使模型能选择性访问庞大内存状态中的独立槽位。这种设计实现了状态大小的指数级扩展而无需增加参数，显著抑制了信号干扰。

实验数据显示，RAM-Net在细粒度长距离检索任务中超越现有基线，且每步状态访问次数比Mamba2少8倍。尽管其在语言建模困惑度上表现具有竞争力，但部分第三方分析指出其在某些基准上仍落后于领先的delta-rule模型，显示其在通用推理与极致效率间的权衡尚存争议。

读者应关注：1. NeurIPS 2026会议期间的官方代码发布情况；2. 后续是否有关于更大规模参数模型的性能验证报告。