一条数据管道把贷款金额的负号当作冗余标记剥掉,将净78.4万美元变成了530万美元的债务,而多个模型都验证了这个错误结果。Southbridge AI 创始人 Hrishi Olickel 在2026年10月的 AI Engineer 大会上用这个失败引出他的核心论点:数据转换的最终瓶颈——智能与判断——如今已变得廉价可得,真正的难点在于你无法在决策之前知道信息到底意味着什么。
Olickel 认为,任何一条数据记录同时受四种模式约束。以温度为例:来源模式决定你拿到的是手机区域温度、桌面传感器读数还是手表测量;存储模式限制你能写下多少——设备固件写不进去,精确到秒的时间戳可能比记录本身耗时还长;决策模式决定哪些省略是致命的——判断舒适度需要全天多次测量且确认测量者,绘制天气图则关心位置和换没换设备,安装敏感仪器时人本身成了需要排除的噪声。第四种模式是模型自带的先验,即它对世界'应该是什么样'的信念。这四种模式只有在决策真正发生的那一刻才同时可知。他举了'客户'这个例子:对计费部门,客户是付钱的人;对客服,是打电话的人;对合规,是组织需要负责的人。一个统一的客户框无法在问题提出之前解决这些区分。
他的替代方案是'即时本体':在决策已知时构建转换结构,并保留其上下文和证据以便复用。具体操作上,他把数据工作拆为三种模型角色。设计者负责分解问题、编写规格和授权预算,适合用更慢、更重的推理模型;执行者在管道内部读PDF、写数据库记录、检查结果,适合用便宜、快速、有可预期缺陷的模型;优化者从一次可用运行出发,尝试替代方案、调试、记录笔记、调整预算来限制暴露,需要可复用的知识和稳定的执行环境。这种分离解释了为什么一个新执行模型可以进入俄亥俄管道而不接管其设计——系统可以测试它在哪些环节有帮助,同时把规格制定和优化留给适合这些工作的模型。
俄亥俄竞选财务实体解析项目提供了具体数字。Olickel 报告,该项目原本预计花费约1万美元,在引入新的决策模型后,十天内以不到800美元完成了全部捐赠人案例。全州作业实际花费795美元,其中首次回答128美元,而第二意见、分歧解决和审计共545美元——检查成本约为回答的四倍。在约200个保留家庭上,一个廉价推理模型单独达到了与对比模型相当的结果,成本约为后者的2%。一个关键发现是:决策优先方案正确回答了核心问题,但因对每个家庭关联都自信地回答'否'而漏掉了九条关联;团队没有更换模型或调整阈值,只是重写了家庭问题以明确'什么算充分证据',十三个开发问题随即全部从否变为是。这说明定义本身可以改变结果,而不需要改变模型。
但 Olickel 也明确标注了这套方法的边界。跨模型分歧可以集中审查——在200个保留家庭上,两个模型在194个上达成一致且其中没有一个错误,所有观察到的误差都落在六个分歧家庭上。然而一致本身是易错的信号:在另一个基准中,四个模型家族因为共享一个与答案键不同的符号约定,产生了精确到美分相同的错误总额。蒸馏可能使表面独立的模型实际上不再独立。此外,上述所有数字——从1万美元到795美元、从194/200一致率到15,658条误分类——均为Southbridge自身项目的自报结果,尚无独立复现。作者对'下一州审计预算趋近零'的预期是预测而非已验证的第二部署。他的结论是条件性的:只要能为每个模式标注并保留其上下文,任何本体都是有效的;更便宜的智能使创建和适应它们更实际,而附着的证据使复用变得可理解。
信息源:youtube.com