资讯1 分钟阅读·
用户演示iPhone 18 Pro离线跑270亿模型,瓶颈从算力转向内存
12GB内存装得下270亿参数,却装不下2比特版Bonsai 2,端侧AI的下一个瓶颈是内存容量。
重要性局部证据E3 可检验写法快讯
X上的一段演示显示,iPhone 18 Pro可离线运行270亿参数的Bonsai-27B,速度约为iPhone 17 Pro的两倍。演示者是用户Adrien Grondin,IT之家 ↗转述;并非标准基准,2倍速度未经独立复现。硬件基础是A20 Pro的双16核神经网络引擎、12GB LPDDR5X内存和115.2GB/s内存带宽。限制同样明确:2比特量化的Bonsai 2体积超出12GB内存,无法完整载入,会掉性能。端侧AI的下一个瓶颈已经从算力转到内存容量。