谷歌DeepMind与Artificial Analysis推出多模态知识代理基准测试，评估AI在复杂视觉工作流中的表现

美国科技公司谷歌（Google）旗下的DeepMind团队与国际AI评测机构Artificial Analysis合作，于2026年11月10日推出了名为“多模态知识代理”（Multimodal Knowledge Agent，简称MKA）的新基准测试。该基准旨在评估AI代理在处理视觉上复杂的文件时，完成现实世界知识工作任务的能力。

与以往主要依赖纯文本输入的基准不同，MKA针对的是日常专业工作中常见的视觉化任务，如交叉参考建筑蓝图、追踪工程原理图以及将发现综合成演示文稿或报告。为了贴近真实工作流，谷歌与来自10个垂直行业和83种职业领域的专家合作，构建了包含200个任务的评估集。每个任务都模拟了一个资深专业人士需要3到8小时才能完成的多步骤项目，并配有约70项由专家编写的评分标准，其中75%权重在于事实准确性，25%在于视觉设计。

为确保结果的公正性，Artificial Analysis负责运行这200个任务的评估集，并保持其私密性，以防止任务数据泄露到训练集中或被模型通过搜索找到。同时，谷歌在Hugging Face上发布了10个公开任务样本，供开发者检查格式并测试自己的代理。所有模型均在相同的开源代理框架Stirrup中运行，使用相同的工具、沙箱和回合预算。

谷歌声称，其最新模型Gemini 4 Carbon在该基准测试的质量排名中位列第二，且平均成本比得分最高的模型低6倍。这一性能优势被描述为在质量和价格之间的帕累托前沿。然而，这些结果目前基于厂商自测，尚未得到独立第三方的全面复现验证。