Together AI 的 Agent 评测实践:用弱模型找缺口,两句话修复文档使 GPU 集群任务通过率从 27% 升至 100%
Together AI 团队搭建了包含基线、文档 MCP 和技能包三种配置的 Agent 评测系统,用 Claude Sonnet 等较弱模型测试时发现了技能文档链接错误和 API 错误消息指向不存在路由等具体问题。仅修改技能文件中两句话,GPU 集群定价任务就从 Sonnet 的 4/15 通过升至全部模型 100% 通过。团队据此提出:只用强模型测试会掩盖平台缺口,Agent 体验改进往往只需很小的修改。
Together AI 的 Hassan El Mghari 等人在测试编码 Agent 能否正确查询 GPU 集群定价时,发现了一个令人意外的现象:Claude Sonnet 4.6 在启用技能包的情况下仍然只通过了 15 次尝试中的 4 次。失败模式高度一致——Sonnet 把 CLI 参考文档中一段未标注为示例的输出当成了实时库存,跳过了区域查询,直接猜了一个最便宜的选项。问题出在 Together 自己的文档和链接上:技能文件指向的是 GPU 集群的营销页面而非定价表,Agent 打开营销页面后看不到实际价格,只能凭猜测作答。
修复方式出人意料地简单:在技能文件中加入两句话,告诉 Agent 去查 /v1/compute/regions 获取实时区域和实例类型,并打开定价表获取当前费率。改完之后,同一任务在所有测试模型上通过率达到 100%。但这个发现之所以能浮出水面,靠的是一个容易被忽略的评测策略:同时使用强模型和弱模型。在同一时期,Opus 4.8 用完全相同的配置通过了 14 次中的 13 次——它注意到区域响应里没有价格,就继续搜索直到在文档中找到。如果 Together 只用 Opus 测试,这个缺口可能至今仍在。
Together AI 为此搭建了一套内部 Agent 评测系统。他们先列出一组开发者在平台上常见的任务(批量推理、构建语音 Agent、管理自动扩缩容等),每个任务本质上就是一个给 Agent 的提示词。然后对每个任务跑三种配置:基线(Agent 只有默认工具,模拟普通开发者工作流)、文档 MCP(通过 MCP 服务器直连文档)、技能包(加载为 Agent 专门编写的指令和示例)。每个任务用三个模型各跑两次,一个完整评测矩阵产生数百次运行。评分由 LLM 裁判完成,给出通过、不完整或失败三种判定。
Together 团队强调,失败和不完整的判定本身不能告诉你问题出在 Agent、API 还是证据缺失,它们只是告诉你从哪里开始查。他们也会检查通过的运行,因为 Agent 经常能绕过混乱的响应完成任务,而那些绕路本身就暴露了需要修复的地方。GPU 集群任务还暴露了一个 API 层面的问题:在一次基线运行中,Opus 5.5 调用 /v1/compute/instance-types 时收到 400 错误,错误消息建议它去 /v1/clusters/regions 获取区域列表,但那个路由根本不存在,返回 404。Together 自己的错误消息把 Agent 送进了一条死路,人类开发者按同样的提示操作也会卡住。
第二个案例是技能包重构。Together 原先维护 14 个独立技能,按产品面划分,彼此重叠且加载多个就会撑爆上下文。合并成一个统一版本后,首次评测只通过了 72 次中的 54 次(75%),成本翻倍。转录分析定位了三个问题:路由器太长导致 Agent 多读了 57% 的技能内容;代码示例中引用的模型已下线;示例脚本有小 bug。把路由器砍到 6000 字符以下、把所有示例换到确认在线的模型、加上定期活测自动化之后,统一技能包通过了 72 次中的 70 次(97.2%),比原来的 14 个技能还高 7 个百分点。
从六月到十月,文档 MCP 的通过率从 67% 升到 96%,技能包从 75% 升到 97%,而基线只从 75% 升到 82%。Together 团队自己指出这不是受控比较——不同快照用了不同模型和任务,部分提升来自底层模型的进步。但引导配置比基线多出的 20 多个百分点,他们归功于评测揭示的文档和技能修复。他们的核心结论是:开发者能手动做的事都应该能从 CLI 或 SDK 程序化完成;文档、CLI 帮助文本和 API 错误消息都是 Agent 卡住时最先看的地方;改进 Agent 体验往往只需要很小的修改,但如果不跑评测,你可能永远找不到那个修改点。