资讯1 分钟阅读·
微软云布道师Pamela Fox：通过场景化测试评估GPT-5.5等模型差异
微软Principal Cloud Advocate Pamela Fox在AI Engineer World's Fair 2026上演示了如何在Microsoft Foundry中切换并测试GPT-5.5、Kimi K2.6、DeepSeek V4 Flash和Mistral Large 3。她展示了从字母计数到RAG、图像处理和工具调用的具体场景，并介绍了使用ASSERT生成测试集及DSPy优化提示词的方法，强调实际场景测试比通用基准更能反映模型在应用中的表现。
重要性实质性证据E2 未复现写法快讯
在2026年旧金山举行的AI Engineer World's Fair上，微软Principal Cloud Advocate Pamela Fox进行了一场关于模型切换的工作坊。她指出，通用的基准测试往往无法准确反映大语言模型在具体应用程序中的实际行为，因此开发者需要在自己的场景中直接替换并测试模型。
Fox在Microsoft Foundry平台上对GPT-5.5、Kimi K2.6、DeepSeek V4 Flash和Mistral Large 3进行了对比演示。她从基础的字母计数提示开始，逐步深入到检索增强生成（RAG）的忠实度、图像输入处理、多语言陷阱、工具调用以及基于LangChain v1构建旅行代理等复杂场景。
除了功能测试，她还重点介绍了评估方法，包括字符串检查评估、LLM-as-a-judge（以大型语言模型作为评判者）、使用微软新推出的ASSERT工具根据规范生成测试集，以及利用DSPy进行提示词优化以找到最便宜模型也能满足要求的提示词。这一系列演示为工程师提供了一套可操作的模型选型与评估流程。