面壁智能密度法则
5 节点1 篇4 来源
面壁智能与清华大学联合团队提出的“密度法则”（Densing Law）指出，大语言模型的智能密度呈指数级增长，约每3.5个月翻倍。这意味着每隔3.5个月，即可用一半参数量的模型实现当前最优性能。该理论最初于2024年12月在arXiv发布，随后被《自然·机器智能》收录。近期，Meta和METR的独立研究数据进一步验证了这一趋势，使其从单一学术观察演变为全球AI行业的共识。这一发现挑战了单纯依赖扩大参数规模的Scaling Law路径，强调通过提升单位参数的智能效率来实现可持续的AI发展，并预示端侧智能将成为AI进入物理世界的关键载体。
事情怎么走到这一步
面壁智能与清华大学团队在arXiv发布论文《Densing Law of LLMs》，首次提出大模型能力密度随时间指数增长的规律。
arxiv.org ↗该研究成果正式发表于Nature子刊《自然·机器智能》，确认开源大模型最大能力密度约每3.5个月翻一倍。
infoq.cn ↗美国研究机构METR更新技术报告，显示AI能力任务时长跨度约每88.6天翻倍，与密度法则预测高度吻合。
eu.36kr.com ↗Meta超级智能实验室发布新模型Muse Spark及训练效率曲线，显示达到同等性能所需算力较一年前降低一个数量级。
eu.36kr.com ↗面壁智能首席科学家刘知远在第八届智能驾驶大会上阐述密度法则对端侧智能和物理AI发展的指导意义。
leiphone.com ↗
还没定论的部分
- 密度法则的加速趋势是否会因高质量公开语料枯竭而放缓？
- 不同架构（如MoE vs Dense）对能力密度倍增周期的具体影响差异有多大？
- 端侧设备算力增长能否持续跟上模型小型化的速度以实现真正的普惠？