技术作者实测:Claude Fable 5.2 单价更低,编码任务实际花费约为 GPT-6 Astra 的三倍
Anthropic 在 11 月 9 日发布 Claude Fable 5.2 时,将其标准 API 价格定为每百万未缓存输入 token 8 美元、输出 40 美元,低于 OpenAI 的 GPT-6 Astra(10 美元/50 美元)。这一降价被广泛宣传为 Fable 5.2 在成本上的优势。但 The New Stack 技术作者 Jessica Wachtel 用三项编码任务做了独立测试,发现标价更低并不等于花得更少。
Wachtel 通过两家厂商的 API 以默认设置各运行一次,测试了三种模拟真实开发工作的任务:修复 2600 行计费代码库中植入的 10 个 bug、审查欧盟发票包中 45 个人为植入的缺陷、以及从零编写 27 国 VAT ID 验证和 34 国 IBAN 校验代码。每项满分 50 分,由脚本自动评分。
在 bug 修复任务中,两个模型都修复了全部 10 个 bug 并通过所有 50 项隐藏检查,都用了 12 轮对话。但过程差异巨大:Fable 5.2 消耗了超过 17000 个推理 token,Astra 只用了 819 个;Fable 5.2 花费约 2.51 美元、耗时 326 秒,Astra 花费约 0.98 美元、耗时 122 秒。同样的分数,Fable 5.2 花了 Astra 约 2.6 倍的价钱。
代码审查是唯一分数不同的任务。Fable 5.2 得 49 分,Astra 得 45 分。Fable 5.2 证明了 45 个缺陷中的 44 个且无误报,Astra 证明了 41 个并错误地将一个西班牙 ID 判定为有效。但 Fable 5.2 为此花费 6.05 美元、耗时 993 秒,而 Astra 只花了 0.95 美元、227 秒。Fable 5.2 的额外 4 分是以超过 6 倍的成本和 4 倍的时间换来的。
代码编写任务中两个模型都得了满分 50 分,但 Fable 5.2 仍花费 Astra 的 2.3 倍。三项任务合计,Fable 5.2 总花费约 13.39 美元,Astra 约 3.99 美元——尽管 Fable 5.2 的单价更低,总花费却高出约 3.3 倍。Wachtel 指出,Fable 5.2 在这三次运行中消耗了约 Astra 五倍的 token。
这一结果印证了 OpenAI 总裁 Greg Brockman 在 Astra 发布会上说的每任务价格才是关键。Wachtel 的结论是:对于这类任务,她会从 Astra 开始,它在 bug 修复和代码编写上以约 41% 的成本达到了相同分数;只有在需要仔细代码审查时才会考虑 Fable 5.2,因为那次它多找到了三个缺陷。她也坦承两个模型都漏掉了缺陷,且每个模型只运行了一次,四分差距在另一次运行中可能变化。
信息源:The New Stack