阅读研究雷达投资体系AI公司权威资料
登录 / 注册
← 返回阅读
资讯实质变化2 分钟阅读DisconfirmAI 编辑部

InfluxData 开发者内容写作者 Jessica Wachtel 独立实测:GPT-6.1 Terra 数值聚合准确率仅为 Astra 一半,但把未算出的查询交还给用户

OpenAI 宣称 GPT-6.1 Terra 在 Agents' Last Exam 基准上以十分之一价格达到旗舰 Astra 同等水平。开发者内容写作者 Jessica Wachtel 用三组合成任务独立测试后发现:事件分诊两者打平,但 SQL 聚合任务 Terra 仅得 26/50 而 Astra 得 48/50。Terra 的失败方式不是编造数字,而是把最难的计算部分交还给你,同时对错误答案给出与正确答案相同的置信度。

2026-10-30 22:59

OpenAI 在 10 月 26 日发布 GPT-6.1 Terra 时宣称,它在 Agents' Last Exam 基准上与旗舰 GPT-6 Astra 表现相当,而每 token 价格仅为十分之一。InfluxData 开发者内容写作者 Jessica Wachtel 决定用三组合成任务独立验证这一说法。她通过 OpenAI API 以高推理努力设置各跑一次,结果发现这个宣称并非在所有任务类型上都成立。

最宽的分歧出现在 SQL 推理测试中:她构建了一个包含 500 条软件构建记录的假数据库,提出 25 个问题,涵盖软删除、重试、三种货币和时区依赖。Astra 得 48/50,Terra 得 26/50。Terra 处理了全部 500 行并正确应对了软删除和重试,但在需要跨全部行汇总成本或时长的六道题上,它没有尝试给出答案,而是写出 SQL 查询交还给用户自行运行,并标注为未计算。Wachtel 写道,这是她第一次看到 AI 把工作交还回来。

更值得关注的是 Terra 的另一种失败模式。在 SQL 测试中它答错了六道题,其中四道是计数偏差仅一到两个。Terra 对这些错误答案给出了与正确答案相同的置信度,没有任何信号提示它们可能是错的。如果把这些数字直接用于报告,用户不会知道哪些需要复核。

不过 Terra 并非在所有任务上都落后。在事件日志分诊测试中——约 7000 行跨 20 多个服务的故障日志,包含漂移时钟、错误归因和无关告警等干扰——两者均得满分 50/50,都成功追踪到账本服务的设置变更并识别出三台时钟错误的服务器,都没有被误导信息带偏。数据验证测试中 Terra 得 45/50,Astra 得 50/50,差距较小。

综合三项测试,Terra 总耗时 258.8 秒、估算 token 成本 0.61 美元,得分 121/150;Astra 总耗时 709.2 秒、成本 7.88 美元,得分 148/150。Terra 的成本约为 Astra 的 7.8%,速度约为其 2.74 倍。Wachtel 指出,这些运行展示了成本、时间和得分之间的权衡,但不能证明 OpenAI 是故意削减推理来实现这一点的。

Wachtel 自己也标注了重要限制:这是单次运行的合成任务结果,不是可重复性或全工作负载性能的估计。她迭代了三个版本的测试,因为两个模型在简单和中等难度版本上始终返回相同分数,她才不断加难直到弱模型 GPT-5 Mini 得分极低。由于这些高难度版本是在看到早期结果后选定的,不应被当作日常工作的代表性样本。她的建议是:对未经复核的数值聚合或穷举数据验证保持谨慎,但在事件分诊类任务上 Terra 可能是可接受的低成本替代,前提是验证结果。

来源

  • thenewstack.ioThe New Stack↗
登录 / 注册
阅读研究雷达投资体系AI公司权威资料
openai.com
OpenAI
↗
带入研究 →