深层模型找到误差低于均匀多面体的叠加几何

神经网络存储特征的非对称几何，误差可以低于此前被认为最优的均匀多面体——Bartosz Rzepkowski等人的第一方玩具模型研究得出这一结论。

叠加指模型把比维度更多的特征塞进有限空间的现象。Anthropic 2022年的《Toy Models of Superposition》猜想，同等重要、同等稀疏的独立特征，最优存储几何可能是均匀多面体；此前浅层模型只找到对称解。

该研究用线性编码器加多层感知机的更深结构重做同一任务，称非对称几何误差更低，并推导了两个理论基准解码器解释为何浅层模型只找到对称解。代码已开源。这是作者第一方结果，实验仅覆盖4个特征压缩到2维的设定，结论能否推广到真实大模型尚未验证；研究发布于LessWrong。