阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯1 分钟阅读·2026-10-04

网友外接iPhone给Mac补算力,模型预填充快44%

低内存Mac跑大模型的预填充瓶颈可用外接iPhone部分绕开,数字为用户自测,生成速度未变。

重要性局部证据E2 未复现写法快讯

2026-10-04 07:10

一名Reddit用户用开源工具把大模型的部分计算层搬到手上的iPhone 17 Pro Max里,让只有24GB内存的MacBook Pro跑Qwen3.8-27B时,16K上下文的预填充速度从每秒109个token提到157个,快了44%。

据IT之家10月4日援引Wccftech的报道,这名用户把每批256个token的前40层留在Mac的M4 Pro上,第41至64层交给iPhone的A19 Pro GPU流水处理;旧上下文还会编译进手机的神经网络引擎,140K长度下单token写入从279毫秒降到176毫秒。8K和32K上下文分别提速35%和29%。

工具叫backburner,已在GitHub开源。局限也很明确:64K以内场景手机不加速文本生成,生成仍全靠Mac,收益只落在长上下文的预处理环节。

来源

  • 报道出处ithome.com↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系