资讯1 分钟阅读·
arXiv预印本：System1-Arena基准显示大型System-1模型在非智能体决策中匹配快速闭源LLM，延迟仅四分之一
新基准System1-Arena评估30个模型的离散决策能力，发现大型System-1模型在非智能体任务中准确率与快速闭源LLM相当，但延迟更低。
重要性实质性证据E2 未复现写法快讯
arXiv预印本《System1-Arena: Which Decisions Can Be Left to System 1?》引入了一个名为System1-Arena的新基准，旨在评估大语言模型在离散决策任务中的表现，并区分哪些决策可以由返回概率的System-1模型处理，哪些需要生成推理步骤的System-2方法。该基准包含来自268个公开源的9.2万个问题，涵盖文本分类、应用决策、评估与控制以及智能体行动四大类，并包括138个闭环环境。
研究团队评估了30个模型，包括7个闭源LLM、13个开源LLM和10个System-1模型。结果显示，最大的System-1模型在非智能体任务的准确率上匹配或超过快速的闭源LLM，且概率校准更好，延迟仅为后者的四分之一。相比之下，推理型LLM虽然最准确，但成本约为快速LLM的70倍。在闭环环境中，大型开源LLM成功率最高（达32.9%），而小型System-1模型很少成功。