LesenForschungRadarAnlageframework
Anmelden / Registrieren
← Zurück zur Lektüre
ThemaDisconfirmAI RedaktionAktualisiert 2026-11-19 08:51

Together AI

4 Schritte1 Beiträge3 Quellen

Together AI 公开了其内部 Agent 评测体系,旨在通过量化“代理体验”(AX)来优化开发者平台。团队构建了包含基线、文档 MCP 和技能包三种配置的测试矩阵,利用 Claude Sonnet 等模型执行 GPU 集群定价等典型任务。数据显示,仅修正技能文件中两句话的错误链接和 API 错误消息指向,即可使特定任务通过率从 27% 跃升至 100%;整体任务完成率在四个月内从 67% 提升至 96%。这一实践表明,弱模型更能暴露文档与 API 的结构性缺陷,而针对这些微小问题的修复往往比升级模型本身更具性价比。GitHub 作为 AX 标杆,其 40% 的 PR 由 Agent 发起,进一步印证了易用的 API 对自动化开发的重要性。

Wie es dazu kam

  1. 2026-06-01

    Together AI 开始构建 Agent 评测系统,初始基线任务通过率为 75%。

    daily.dev ↗
  2. 2026-09-30

    进行全量评估运行,发现 GPU 集群定价任务在基线配置下全部失败,但在技能包配置下全部通过。

    together.ai ↗
  3. 2026-10-01

    经过文档和 API 错误修复,整体任务通过率提升至 96%,其中统一技能包版本达到 97%。

    x.com ↗
  4. 2026-11-16

    Together AI 发布博客《How we do agent evals at Together AI》,详细披露评测方法论及具体案例。

    together.ai ↗

Was noch ungeklärt ist

  • Together AI 承诺下周开源的评测包具体包含哪些基准测试用例?
  • 其他大型云服务商是否已建立类似的标准化 Agent 体验(AX)评估指标?
  • 随着模型能力提升,弱模型发现的文档缺陷是否会自然减少,还是说 API 设计的复杂性会持续产生新的缺口?

Quellen

Anmelden / Registrieren
LesenForschungRadarAnlageframework
  • together.aiTogether AI Blog: How we do agent evals↗
  • daily.devDaily.dev Summary of Together AI Post↗
  • x.comTogether AI Official X Account Announcement↗

Abdeckung in diesem Thema

  • Together AI's Agent Evaluation Practice: Using Weaker Models to Find Gaps, Two-Sentence Document Fixes Raise GPU Cluster Task Pass Rate from 27% to 100%2026-11-17News

    The Together AI team built an agent evaluation system with three configurations: baseline, documentation MCP, and skill packages. Testing with weaker models like Claude Sonnet revealed specific issues such as incorrect links in skill documents and API error messages pointing to non-existent routes. By modifying just two sentences in the skill file, the GPU cluster pricing task went from a 4/15 pass rate for Sonnet to a 100% pass rate across all models. The team concludes that relying solely on strong models can mask platform gaps, and improving agent experience often requires only minor modifications.