“模型-框架”飞轮:为何并非所有 AI 应用公司都在贬值
一份投资通讯认为,增加智能的框架逻辑是贬值的资产,但销售基础设施、信任和效率的框架随着模型的改进而升值,并提出了区分两者的五项特征测试。
每次模型发布都会吞噬掉一些框架过去用来修补的智能。这一点属实,且在过去两年里一直如此。Rob May 在其 11 月 22 日的通讯中提出的问题在于,这是否意味着框架业务本身正在消亡。他的答案是否定的,而他区分投资者往往混淆的两个论点的方式,是该论证中最有用的部分。
第一个论点是,增加编码智能的框架逻辑是一种贬值资产。May 同意这一点。第二个论点是,框架是一个贬值的业务。他不同意这一观点,其推理过程贯穿了他所称的“模型-框架飞轮”。框架工程师发现模型在哪里出错,并用代码进行修补。这些修补会产生使用数据。实验室在这些数据上进行训练,下一个模型就不再需要该修补了。框架发现一项技能,模型吸收它,然后框架必须转向下一个前沿领域。
May 将此建立在一个硬件先例之上。1989 年,英特尔的 486 处理器将浮点协处理器集成到了主芯片上。独立的数学芯片业务随之衰落,依赖快速浮点运算的软件成为常态。吸收效应消灭了一个层级,却滋养了下一个层级。这个类比具有说明性而非经过定量验证,但它捕捉到了结构性要点:当一种能力从外部组件转移到核心系统时,组件供应商会失去收入,而建立在现在更便宜的能力之上的生态系统则会增长。
在 May 的框架下,使框架业务不同于浮点芯片业务的是,框架提供的一些东西根本不是技能。它们是模型运行环境的属性。模型无法通过训练变成你的审计日志、权限系统或云账单。基础设施、信任与安全以及效率并不是会被吸收到模型权重中的东西。随着模型变得更强大且部署更广泛,这些东西变得更有价值,因为需要保护的内容更多,需要路由的内容更多,需要优化的内容也更多。
May 明确指出了他的偏见。他经营着 TaskRouter,一家专注于推理效率的公司,并在文章中链接到该公司。他的效率论点基于一个假设:一家每年在推理上花费 1000 万美元的公司,如果其框架将 70% 的调用路由到成本仅为十分之一的任务特定模型,就可以将其账单削减至 370 万美元。这是 630 万美元的利润空间,而且随着小模型的改进,节省金额还会增加。他还指出,实验室几乎没有动力将流量路由到竞争对手更便宜的模型,这为实验室难以轻易拥有的中立效率层留下了空间。
实际贡献是一份包含五项特征的清单。May 提出,如果一个框架或代理公司具备至少三项这些特征,它就处于有利位置,能够从模型进步中受益,而不是被其摧毁。专有失败数据:其使用情况显示模型在实验室看到之前在哪里出错。收入与基础设施、信任或效率挂钩,而不是与修补模型弱点挂钩。模型无关性:更好且更便宜的模型会降低其成本,而不是取代其功能。前沿速度:它以模型吸收旧领域的同样速度进入新领域。信任锁定:需要数月才能重做的安全审查和合规工作。
最强烈的反对意见是,这个框架没有可测试的记录。这五项特征是合理的但未经验证,并且作者对效率层的商业利益意味着这份清单恰好突出了他所经营的类别。英特尔的类比具有暗示性但不具决定性:浮点运算是具有清晰性能指标的狭窄计算原语,而基础设施、信任和效率是异质的,更难作为单一价值主张来隔离。拥有这三项特征的公司是否真的比拥有两项特征的公司表现更好,仍然是一个 May 未尝试回答的经验性问题。
尽管如此,核心区别是尖锐且有用的。在评估一家 AI 应用层公司时,最重要的问题是当下一个模型发布时,其产品会发生什么变化。如果答案是它会变得更好,那么该公司可能是飞轮的受益者。如果答案是团队必须重建,那么该公司是在向模型路线图租用时间。这是一个读者可以应用的具体测试,无需验证 May 的任何具体数字。