模型压缩与效率

AI行业正通过架构创新与极致压缩挑战传统大模型的算力瓶颈。美国初创公司Inception Labs于2026年10月20日发布旗舰扩散式大语言模型Mercury 3，宣称其生成速度达每秒1000个token，推理成本显著低于Anthropic和OpenAI的中低端模型，试图颠覆依赖自回归生成的现有扩展路线。同日，另一家由加州理工学院研究人员创立的PrismML推出第二代压缩模型Bonsai 2，利用三元权重技术将阿里巴巴Qwen3.8 27B模型体积缩小近10倍至5.9GB，并在基准测试中保留原版98%的性能，使高性能AI可在个人电脑甚至手机端本地运行。这两项进展共同指向一个趋势：通过并行生成机制或极端量化手段，降低对昂贵GPU集群的依赖，实现更快速、更低成本且隐私友好的AI部署。然而，业界对于压缩是否真正无损、以及扩散模型能否在复杂推理任务上全面替代自回归模型仍存争议。