阅读研究雷达投资体系
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-10-25 10:41

AI智能体成本路由

5 节点1 篇6 来源

随着AI编程工具从按席位收费转向按消耗量计费，工程团队面临成本指数级增长而产出未同步提升的结构性矛盾。Databricks联合创始人Patrick Wendell指出，单纯设置硬性预算上限会阻碍开发效率，而将任务动态路由至最适配且低成本的模型层成为新的竞争焦点。通过模型切换、任务路由、支出可见性及Token开销削减四项措施，Databricks实现了单位成本最高90%的降低。与此同时，NVIDIA NeMo Switchyard、Weave Router等专用路由工具涌现，学术界亦提出“Token通胀”概念以修正传统单点调用成本估算的偏差。当前争议在于：路由决策应基于静态规则、强化学习还是实时复杂度评分，以及如何在保证代码质量的前提下最大化性价比。

事情怎么走到这一步

  1. 2026-08-11

    NVIDIA发布NeMo Switchyard开源编排层，支持在LangChain基准测试中实现74%的成本降低，并在Cognition Devin Desktop场景中实现28%的成本节约。

    developer.nvidia.com ↗
  2. 2026-09-07

    行业分析指出，在AI Agent生产环境中，70%的请求为简单任务，通过智能路由分流可将年成本降低75%，并梳理了静态规则、阈值、强化学习及混合专家四种主流路由流派。

    intl.cloud.baidu.com ↗
  3. 2026-09-09

    Weave Router 2.0发布，引入缓存感知路由和升级机制，宣称在Terminal-Bench 4.0中以GPT-6 Astra约52%的成本达到同等质量，且速度快2.2倍。

    weaveos.com ↗
  4. 2026-10-06

    Zenodo预印本《Agentic AI的Token经济学》提出分层路由参考模型，强调循环Agent无自然成本上限，需通过分解Prompt、Completion及Tool-call开销进行精细化控制。

    zenodo.org ↗
  5. 2026-10-23

    Databricks联合创始人Patrick Wendell披露内部实践，通过Unity Gateway实施渐进式摩擦而非硬封顶，结合模型默认值优化，使人均Token支出保持平稳的同时总用量上升。

    databricks.com ↗

还没定论的部分

登录 / 注册
阅读研究雷达投资体系
  • 路由层的决策延迟（如Weave Router声称的单位数毫秒）是否会在高并发场景下成为新的性能瓶颈？
  • 学术研究中提出的“Token通胀”（重试导致的实际成本远超单次估算）如何被现有商业网关产品有效量化并纳入定价策略？
  • 当廉价模型能力快速逼近前沿模型时（如Databricks提到的100x成本下降），路由策略是否会退化为简单的“最新最优”选择，从而削弱复杂路由器的价值？

来源

  • databricks.comDatabricks Blog: The AI Bill is coming↗
  • developer.nvidia.comNVIDIA Developer Blog: Route AI Agent Workloads↗
  • weaveos.comWeaveOS Blog: Weave Router 2.0↗
  • intl.cloud.baidu.comBaidu Cloud Article: AI大模型成本困局↗
  • zenodo.orgZenodo Preprint: Token-Economics for Agentic AI↗
  • arxiv.orgArXiv: Not All Tokens Are Equal (Inflation-Aware Routing)↗

这一专题下的内容

  • Databricks联合创始人Patrick Wendell：AI编程成本是结构性基础设施问题，路由层将成为新竞争战场2026-10-23资讯

    Databricks联合创始人Patrick Wendell在访谈中解释了AI编程工具的消耗定价如何造成成本指数增长而收入没有同步增长之间的结构性矛盾，以及为何路由控制层（而非预算或政策）是解决这一矛盾的必要基础设施。他称Databricks通过模型切换、任务路由、支出可见性和削减token开销四项措施将单位成本降低了最多90%，并认为随着模型利润变薄，决定哪个模型处理哪个任务将是一个值得关注的竞争位置。