MKA基准测试

谷歌DeepMind与评测机构Artificial Analysis联合推出多模态知识代理基准测试（MKA），旨在评估AI智能体处理视觉复杂文件并执行现实世界专业任务的能力。该基准填补了现有评测仅依赖文本的空白，要求模型从建筑蓝图、工程示意图和临床扫描等视觉密集文件中提取信息，生成幻灯片、电子表格或报告等交付物。

【背景】MKA包含200项私有任务，覆盖10个行业83种职业，每项任务模拟需专业人员耗时3至8小时完成的多步骤项目。评分采用“Climb WSR”指标，由基于GPT-6 Luna的智能体评审系统依据专家编写的约70项加权标准进行自动打分，其与人类专家判断一致率达96%。

初步结果显示，Anthropic的Claude Fable 5.2以57%的得分位居榜首，谷歌Gemini 4 Carbon以54%紧随其后，但后者平均成本仅为前者的六分之一。不同模型在效率上差异巨大，完成任务所需交互轮次在30至130轮之间波动。目前尚无单一模型在所有10个垂直领域均保持领先，表明多模态推理能力仍存在显著的行业特异性瓶颈。