LesenForschungRadarAnlageframework
Anmelden / Registrieren
← Zurück zur Lektüre
ThemaDisconfirmAI RedaktionAktualisiert 2026-11-01 20:58

面壁智能密度法则

5 Schritte1 Beiträge4 Quellen

面壁智能与清华大学联合团队提出的“密度法则”(Densing Law)指出,大语言模型的智能密度呈指数级增长,约每3.5个月翻倍。这意味着每隔3.5个月,即可用一半参数量的模型实现当前最优性能。该理论最初于2024年12月在arXiv发布,随后被《自然·机器智能》收录。近期,Meta和METR的独立研究数据进一步验证了这一趋势,使其从单一学术观察演变为全球AI行业的共识。这一发现挑战了单纯依赖扩大参数规模的Scaling Law路径,强调通过提升单位参数的智能效率来实现可持续的AI发展,并预示端侧智能将成为AI进入物理世界的关键载体。

Wie es dazu kam

  1. 2024-12-05

    面壁智能与清华大学团队在arXiv发布论文《Densing Law of LLMs》,首次提出大模型能力密度随时间指数增长的规律。

    arxiv.org ↗
  2. 2025-11-01

    该研究成果正式发表于Nature子刊《自然·机器智能》,确认开源大模型最大能力密度约每3.5个月翻一倍。

    infoq.cn ↗
  3. 2026-04-03

    美国研究机构METR更新技术报告,显示AI能力任务时长跨度约每88.6天翻倍,与密度法则预测高度吻合。

    eu.36kr.com ↗
  4. 2026-04-08

    Meta超级智能实验室发布新模型Muse Spark及训练效率曲线,显示达到同等性能所需算力较一年前降低一个数量级。

    eu.36kr.com ↗
  5. 2026-10-26

    面壁智能首席科学家刘知远在第八届智能驾驶大会上阐述密度法则对端侧智能和物理AI发展的指导意义。

    leiphone.com ↗

Was noch ungeklärt ist

  • 密度法则的加速趋势是否会因高质量公开语料枯竭而放缓?
  • 不同架构(如MoE vs Dense)对能力密度倍增周期的具体影响差异有多大?
  • 端侧设备算力增长能否持续跟上模型小型化的速度以实现真正的普惠?
Anmelden / Registrieren
LesenForschungRadarAnlageframework

Quellen

  • arxiv.orgarXiv: Densing Law of LLMs↗
  • infoq.cnInfoQ: 清华大模型密度法则发表Nature子刊↗
  • eu.36kr.com36Kr: Meta与METR验证密度法则↗
  • leiphone.com雷峰网: 刘知远阐述密度法则与端侧智能↗

Abdeckung in diesem Thema

  • Liu Zhiyuan, Chief Scientist at ModelBest, Proposes "Density Law": Open-Source Large Model Intelligence Density Doubles Approximately Every 100 Days2026-10-31News

    Liu Zhiyuan argues that the core evolution of large models is not merely an expansion of parameters, but the formation of a general technical route capable of continuously absorbing new types of data; as data and computing power become new constraints, increasing "intelligence density" is more sustainable than simply scaling up. He draws an analogy to Moore's Law, estimating that intelligence density doubles approximately every 100 days, and believes that edge AI will become a crucial carrier for AI's entry into the physical world.