RAM-Net用稀疏寻址优化线性注意力

RAM-Net提出一种稀疏地址访问机制，旨在解决线性注意力中共享状态导致的长程细粒度召回退化问题。

传统线性注意力将所有令牌信息叠加在固定大小的循环状态中，产生令牌间干扰。RAM-Net将状态组织为独立槽位数组，通过地址解码器映射每个键或查询到稀疏地址，仅读写少量选定槽位。

作者自报实验显示，该设计在保持竞争性常识推理能力的同时，实现了最低的困惑度，并在细粒度长程检索上优于强基线。关键效率指标是每步状态访问元素数量比所有基线更少，例如比Mamba2少8倍。

此为NeurIPS 2026接收论文的第一方基准结果，尚未见独立复现报告。