资讯1 分钟阅读·
网友外接iPhone给Mac补算力,模型预填充快44%
低内存Mac跑大模型的预填充瓶颈可用外接iPhone部分绕开,数字为用户自测,生成速度未变。
重要性局部证据E2 未复现写法快讯
一名Reddit用户用开源工具把大模型的部分计算层搬到手上的iPhone 17 Pro Max里,让只有24GB内存的MacBook Pro跑Qwen3.8-27B时,16K上下文的预填充速度从每秒109个token提到157个,快了44%。
据IT之家10月4日援引Wccftech的报道,这名用户把每批256个token的前40层留在Mac的M4 Pro上,第41至64层交给iPhone的A19 Pro GPU流水处理;旧上下文还会编译进手机的神经网络引擎,140K长度下单token写入从279毫秒降到176毫秒。8K和32K上下文分别提速35%和29%。
工具叫backburner,已在GitHub开源。局限也很明确:64K以内场景手机不加速文本生成,生成仍全靠Mac,收益只落在长上下文的预处理环节。