面壁智能首席科学家刘知远提出"密度法则":开源大模型智能密度约每100天翻倍
刘知远认为,大模型的核心变化不只是参数扩大,而是形成可不断吸收新类型数据的通用路线;当数据与算力成为新约束,提高"智能密度"比单纯扩大规模更可持续。他类比摩尔定律,推算智能密度约每100天翻倍,并认为端侧智能将成为AI进入物理世界的重要载体。
面壁智能联合创始人兼首席科学家刘知远在中国苏州举行的第八届智能驾驶大会上提出了一个可检验的判断:全球开源大模型的智能密度大约每100天提升一倍,即每100天就可以用一半参数和一半计算量实现此前相近的智能能力。他把这一观察称为"密度法则"。
刘知远认为,大模型过去八年的核心变化并不只是参数规模持续扩大,而是形成了一套可以不断吸收不同类型数据的通用技术路线。但随着模型继续扩大,数据和算力正在成为新的约束。在数据侧,从2024年前后开始,大规模强化学习推动模型由模仿学习向探索式学习发展,使模型可以主动探索并生成新的训练数据;在算力侧,如果仍然只依靠扩大参数规模提升能力,计算需求最终难以持续。因此,大模型还需要提高"智能密度",即使用更少参数和算力达到相同智能水平。
刘知远将密度法则类比半导体行业的摩尔定律:未来模型一方面会不断变小,手机、汽车、机器人等终端算力另一方面会继续提高,两条趋势最终交汇,使过去只能运行在服务器上的大模型逐步进入终端。按照密度法则推算,如果智能密度继续维持约100天翻倍的速度,不到两年时间,同等能力所需的参数量和算力可能下降两个数量级,使原本万亿级模型的部分能力压缩到百亿级,并部署到终端设备。
他将未来AI分为超级智能、云侧智能和端侧智能三种形态,其中端侧智能将成为物理AI的重要载体。人工智能进入物理世界还存在三个趋势:高智能密度,即降低模型运行所需的参数和算力;全模态感知,即通过视觉、声音和其他传感器理解现实世界;自主智能体,即在开放环境中持续决策、学习和行动。
面壁智能已经将端侧模型应用到手机、汽车座舱、卫星和机器人等场景,并与华为、三星等企业开展合作。刘知远认为,未来大模型将持续进入手机、PC、汽车、机器人、可穿戴设备和IoT等终端,端侧智能将成为AI进入物理世界的重要路径。