阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化2 分钟阅读DisconfirmAI 编辑部

Dell Pro Precision工作站AI策略负责人Logan Lawler:智能体选模型实操——基准短名单、真实对比、留最便宜的

Dell Pro Precision工作站AI策略负责人Logan Lawler提出一套为智能体选择模型的实操方法:先用Artificial Analysis、Arena、Berkeley函数调用排行榜和SWE-bench等基准网站建立短名单,再在真实任务上跑两到三个模型的对比,按完成度、正确性、反馈需求和成本四个维度打分,保留最便宜的合格模型。日常步骤路由给小模型,前沿模型只留给真正需要的环节。LangChain测试NVIDIA NeMo Switchyard路由库时,145个智能体任务中仅7%的步骤需要前沿模型。

2026-11-12 22:00

一个小型模型被要求安装一个工具,它回答:'你有大脑而我没有。'Dell Pro Precision工作站AI策略负责人Logan Lawler在博客中回忆了这个测试经历——工具链已经把安装所需的全部信息喂给了模型,模型却完全无法理解任务。这个轶事引出了他的核心判断:在智能体等于模型加工具链这个公式里,模型是大脑,而错误的大脑即使拥有一切必要条件也会失败。

他的方法分三步。第一步,从基准网站建短名单。他推荐四个:Artificial Analysis用独立测试比较质量、价格和速度,适合按预算筛选;Arena(原LMArena)让真人匿名对比两个模型的回答并投票,反映日常写作和问答中的实际偏好;Berkeley函数调用排行榜测试模型使用工具(搜索、文件访问等)的准确度——智能体通过工具完成工作,所以这个榜单对智能体场景最关键;SWE-bench测试模型能否修复开源软件中的真实bug,适合需要写代码的智能体。第二步,在真实任务上跑对比。Lawler建议用OpenRouter账号(一个账号访问多家提供商的模型)或LM Studio(在本地加载模型)各试一个前沿模型和一两个小模型,对同一条任务跑两到三遍。第三步,按四个维度打分:是否完成、是否正确、需要多少反馈、花了多少钱。保留最便宜的合格模型。

打分之后是路由。Lawler引用了一个具体数据:LangChain在145个智能体任务上测试NVIDIA NeMo Switchyard路由库,只有7%的步骤需要前沿模型。这意味着绝大多数日常步骤——调用工具、总结结果——可以由小模型完成。他的个人生产配置是:设计智能体和编写技能时用前沿模型(通过OpenRouter和Claude计划),因为那是'需要付费的硬思考';技能建好之后,每天运行在DeepSeek V4 Flash上,部署在一台Dell Pro Precision GB10工作站上。

Lawler也划出了边界。如果对比测试显示只有前沿模型能把任务做对,或者任务属于最难的编码、推理或研究类型,就不要强行用开源模型。他的原话是:'别把开源模型逼进一场它目前还赢不了的比赛。'他还强调自己一直在测试,建议读者一个季度后再来问。

需要注意的语境:本文发布在Dell Technologies官方博客上,作者的工作职责是领导Dell Pro Precision工作站的AI策略,文中推荐的NVIDIA Nemotron系列模型、NeMo Switchyard路由库和Dell GB10工作站均与其商业利益直接相关。LangChain的7%数据来自其测试NVIDIA Switchyard路由库的结果,不是独立第三方评估。方法论本身——建短名单、跑对比、按四个维度打分、留最便宜的——是可迁移的,但具体工具推荐应视为带有厂商立场的建议。

来源

  • dell.comDell
登录 / 注册
阅读研究雷达投资体系
↗
带入研究 →