LecturaInvestigaciónRadarMarco de inversión
Iniciar sesión / Registrarse
← Volver a la lectura
TemaEditorial de DisconfirmAIActualizado 2026-11-14 13:20

MKA基准测试

3 pasos1 piezas4 Fuentes

谷歌DeepMind与评测机构Artificial Analysis联合推出多模态知识代理基准测试(MKA),旨在评估AI智能体处理视觉复杂文件并执行现实世界专业任务的能力。该基准填补了现有评测仅依赖文本的空白,要求模型从建筑蓝图、工程示意图和临床扫描等视觉密集文件中提取信息,生成幻灯片、电子表格或报告等交付物。

【背景】MKA包含200项私有任务,覆盖10个行业83种职业,每项任务模拟需专业人员耗时3至8小时完成的多步骤项目。评分采用“Climb WSR”指标,由基于GPT-6 Luna的智能体评审系统依据专家编写的约70项加权标准进行自动打分,其与人类专家判断一致率达96%。

初步结果显示,Anthropic的Claude Fable 5.2以57%的得分位居榜首,谷歌Gemini 4 Carbon以54%紧随其后,但后者平均成本仅为前者的六分之一。不同模型在效率上差异巨大,完成任务所需交互轮次在30至130轮之间波动。目前尚无单一模型在所有10个垂直领域均保持领先,表明多模态推理能力仍存在显著的行业特异性瓶颈。

Cómo llegó hasta aquí

  1. 2026-11-10

    谷歌DeepMind与Artificial Analysis正式宣布推出MKA基准测试,并发布技术报告及10项公开示例任务。

    blog.google ↗
  2. 2026-11-10

    Artificial Analysis发布MKA排行榜,显示Claude Fable 5.2 (57%) 领先 Gemini 4 Carbon (54%) 和 Claude Opus 5.5 (53%)。

    artificialanalysis.ai ↗
  3. 2026-11-11

    IT之家等媒体跟进报道,强调Gemini 4 Carbon在成本效益上的优势及其在特定垂直领域的表现差异。

    ithome.com ↗

Lo que aún está pendiente

  • MKA私有测试集是否会定期更新以防止模型过拟合?
  • 各模型在不同行业垂直领域(如医疗 vs 法律)的性能差异是否会导致专用智能体的兴起?
  • 移除视觉工具后模型性能下降的具体幅度是否足以证明当前OCR替代方案的局限性?

Fuentes

Iniciar sesión / Registrarse
LecturaInvestigaciónRadarMarco de inversión
blog.googleGoogle Blog: Introducing the Multimodal Knowledge Agent benchmark↗
  • artificialanalysis.aiArtificial Analysis: MKA Benchmark Results & Methodology↗
  • hyper.aiHyperAI: MKA Technical Paper Summary↗
  • ithome.comIT之家: 谷歌联合推出多模态知识智能体基准测试MKA↗
  • Cobertura en este tema

    • Google DeepMind and Artificial Analysis Launch Multimodal Knowledge Agent Benchmark to Evaluate AI on Complex Visual Workflows2026-11-11Noticias

      The new MKA benchmark focuses on visual knowledge work involving images, charts, and layouts, filling a gap left by text-only evaluations.