Together AI
4 节点1 篇3 来源
Together AI 公开了其内部 Agent 评测体系,旨在通过量化“代理体验”(AX)来优化开发者平台。团队构建了包含基线、文档 MCP 和技能包三种配置的测试矩阵,利用 Claude Sonnet 等模型执行 GPU 集群定价等典型任务。数据显示,仅修正技能文件中两句话的错误链接和 API 错误消息指向,即可使特定任务通过率从 27% 跃升至 100%;整体任务完成率在四个月内从 67% 提升至 96%。这一实践表明,弱模型更能暴露文档与 API 的结构性缺陷,而针对这些微小问题的修复往往比升级模型本身更具性价比。GitHub 作为 AX 标杆,其 40% 的 PR 由 Agent 发起,进一步印证了易用的 API 对自动化开发的重要性。
事情怎么走到这一步
Together AI 开始构建 Agent 评测系统,初始基线任务通过率为 75%。
daily.dev ↗进行全量评估运行,发现 GPU 集群定价任务在基线配置下全部失败,但在技能包配置下全部通过。
together.ai ↗经过文档和 API 错误修复,整体任务通过率提升至 96%,其中统一技能包版本达到 97%。
x.com ↗Together AI 发布博客《How we do agent evals at Together AI》,详细披露评测方法论及具体案例。
together.ai ↗
还没定论的部分
- Together AI 承诺下周开源的评测包具体包含哪些基准测试用例?
- 其他大型云服务商是否已建立类似的标准化 Agent 体验(AX)评估指标?
- 随着模型能力提升,弱模型发现的文档缺陷是否会自然减少,还是说 API 设计的复杂性会持续产生新的缺口?