阅读研究雷达投资体系
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-11-19 08:51

Together AI

4 节点1 篇3 来源

Together AI 公开了其内部 Agent 评测体系,旨在通过量化“代理体验”(AX)来优化开发者平台。团队构建了包含基线、文档 MCP 和技能包三种配置的测试矩阵,利用 Claude Sonnet 等模型执行 GPU 集群定价等典型任务。数据显示,仅修正技能文件中两句话的错误链接和 API 错误消息指向,即可使特定任务通过率从 27% 跃升至 100%;整体任务完成率在四个月内从 67% 提升至 96%。这一实践表明,弱模型更能暴露文档与 API 的结构性缺陷,而针对这些微小问题的修复往往比升级模型本身更具性价比。GitHub 作为 AX 标杆,其 40% 的 PR 由 Agent 发起,进一步印证了易用的 API 对自动化开发的重要性。

事情怎么走到这一步

  1. 2026-06-01

    Together AI 开始构建 Agent 评测系统,初始基线任务通过率为 75%。

    daily.dev ↗
  2. 2026-09-30

    进行全量评估运行,发现 GPU 集群定价任务在基线配置下全部失败,但在技能包配置下全部通过。

    together.ai ↗
  3. 2026-10-01

    经过文档和 API 错误修复,整体任务通过率提升至 96%,其中统一技能包版本达到 97%。

    x.com ↗
  4. 2026-11-16

    Together AI 发布博客《How we do agent evals at Together AI》,详细披露评测方法论及具体案例。

    together.ai ↗

还没定论的部分

  • Together AI 承诺下周开源的评测包具体包含哪些基准测试用例?
  • 其他大型云服务商是否已建立类似的标准化 Agent 体验(AX)评估指标?
  • 随着模型能力提升,弱模型发现的文档缺陷是否会自然减少,还是说 API 设计的复杂性会持续产生新的缺口?

来源

登录 / 注册
阅读研究雷达投资体系
together.aiTogether AI Blog: How we do agent evals↗
  • daily.devDaily.dev Summary of Together AI Post↗
  • x.comTogether AI Official X Account Announcement↗
  • 这一专题下的内容

    • Together AI 的 Agent 评测实践:用弱模型找缺口,两句话修复文档使 GPU 集群任务通过率从 27% 升至 100%2026-11-17资讯

      Together AI 团队搭建了包含基线、文档 MCP 和技能包三种配置的 Agent 评测系统,用 Claude Sonnet 等较弱模型测试时发现了技能文档链接错误和 API 错误消息指向不存在路由等具体问题。仅修改技能文件中两句话,GPU 集群定价任务就从 Sonnet 的 4/15 通过升至全部模型 100% 通过。团队据此提出:只用强模型测试会掩盖平台缺口,Agent 体验改进往往只需很小的修改。