阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化2 分钟阅读DisconfirmAI 编辑部

决策模型不能靠跑分选型:微软工程VP称刷榜模型在企业使用中迅速失效

多位决策模型厂商高管指出,由于这类模型极易复制且真实使用分布与基准测试差异显著,公开跑分无法预测生产表现。真正的差异化在于模型能否用客户自有数据持续改善判断校准。

2026-11-18 02:10

决策模型是2026年9月才出现的一个新品类:它们不生成文本,而是用大语言模型的通用智能在预设选项之间快速做出判断,同时输出置信度。Vercel的AI模型路由器数据显示,2026年10月超过四分之一的请求流向了决策模型而非传统大语言模型。这个品类增长极快的一个原因是门槛很低——TechCrunch报道,一位亚马逊工程师在一个周末就做出了一个决策模型,随后各大云厂商纷纷跟进。微软CEO Satya Nadella在11月17日宣布Microsoft-Decision-1.1立即在Azure全面上线。

当模型数量迅速膨胀时,选型问题变得棘手。微软工程VP Achint Srivastava在一封邮件中写道:"我们看到的是,刷榜模型在企业真实使用中会很快失效。"他进一步指出,要在单一模型中同时交付准确性、可靠性、速度和成本效率极具挑战性,Microsoft-Decision-1.1和TypeSafe的Jev是少数在"留出"或未见过基准上仍能跨四个维度保持强势的模型。

英国AI初创公司Sqwish的联合创始人Ushnish Sengupta给出了另一种判断:基准测试更像是"邀请你试用模型的入场券",而持续调优才是客户留下来的理由。Sqwish刚宣布完成300万美元种子前融资,其决策模型"kettei fat"的差异化不在于初始跑分,而在于内置的后训练工具——客户可以持续上传自己的生产数据,让模型在特定任务上不断改善判断校准。

这一逻辑与TypeSafe CEO Diogo Almedia的说法一致:构建Jev最困难的部分是用统计校正的合成数据精细校准模型的判断力。Sqwish同样使用合成数据,但叠加了客户自有数据的持续微调能力。Sqwish联合创始人Federica Freddi将这一赛道定位为"系统一智能"——与前沿大语言模型的"系统二智能"协同工作。她认为这一层的市场规模在百亿美元量级,而对OpenAI等前沿实验室而言,决策模型只是附带项目。

来源

  • techcrunch.comTechCrunch↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系