CoreWeave工程师Joël Henry：在数据中心异常检测中，何时让AI构建工具，何时让AI成为工具

在管理像AI数据中心这样的物理系统时，电力消耗、入口温度、冷却液流量等遥测数据每秒都在产生海量信号。核心挑战在于如何从这些连续流中识别出可能导致训练中断的故障节点。CoreWeave的工程博客作者Joël Henry指出，问题不在于是否使用AI代理，而在于在哪里使用它们。如果将代理应用于问题的每一个部分，系统会变得缓慢且不可预测，因为语言模型本质上是概率性的，同一输入在不同运行中可能产生不同输出。

为了解决这一矛盾，Henry描述了一种将AI代理分为两种不同角色的架构：一种是“代理构建工具”，另一种是“代理作为工具”。在第一种模式中，代理离线工作，探索数据、解释需求并组装传统的机器学习管道。一旦完成，代理退出，生产环境中运行的是确定的代码和模型。这种方式适合重复性高、定义明确且需要持续运行的任务，如异常检测本身。它保证了相同输入始终产生相同输出，且易于通过检查代码来解释结果。

第二种模式则是将代理嵌入实时系统中，处理那些开放式的、每个案例都真正新颖的问题。当检测器标记出异常后，代理负责回答“这是真的吗？”、“原因是什么？”以及“该怎么做？”。这类任务难以预先编写固定程序，需要结合GPU、网络或存储等多方面的判断。在这种模式下，代理每次调用都有实际成本，且不保证确定性，但它能提供人类可读的推理过程，帮助操作员理解复杂情况。

Henry强调，这种拆分的关键在于“约束”的设计。对于构建工具的代理，工程师提供一个包含工具、需求和评估标准的“框架”（harness），代理在此范围内迭代优化，直到指标不再提升。对于作为工具的代理，系统强制其所有声明必须来自工具调用而非记忆，以防止幻觉。尽管代理可以推荐行动，但任何影响物理基础设施的决定仍需人工批准，确保安全性。

这种架构不仅适用于数据中心，也适用于电池测试台、机器人手臂等具有传感器数据的物理系统。其核心价值在于利用AI的灵活性来加速工具的开发和更新，同时利用传统工程的确定性来保证日常运行的可靠性和低成本。随着时间推移，原本需要代理推理的新模式若变得规律化，可被编码进确定性系统，从而实现成本的逐步降低。