AI搜索公司Exa用分层智能体工作流优化Neuron芯片推理内核,自报嵌入成本改善47%
Exa描述了一套让AI智能体自行编写自定义NKI内核来优化嵌入推理的方法论:三部分框架(验证正确性、测量性能、剖析找方向)配合按任务复杂度分层的代理策略,用0.999余弦相似度门控防止优化引入错误,最终自报每百万文档嵌入成本改善47%。
在数十亿文档规模上做语义搜索,嵌入的单位经济学决定一切。Exa把网页文档嵌入向量数据库供搜索和智能体调用,任何每篇文档的成本改善乘以数百亿都是可观的数字。他们选择AWS Neuron硬件(Inferentia2和Trainium2)做推理,但初始的FP16数据并行实现远未释放芯片性能——从朴素编译出发,需要一系列深度内核优化才能逼近硬件理论吞吐。
优化路径本身并不罕见:权重布局对齐消除转置、编译器autocast降精度、NKI预构建注意力内核、自定义权重驻留融合SwiGLU MLP内核消除HBM内存溢出、最后针对模型具体注意力头形状重写内核削减padding浪费的FLOPS。这些步骤把吞吐推到了自报的1.5倍。真正值得关注的不是这些步骤,而是驱动它们的方法。
Exa描述了一个三部分智能体框架:验证正确性、测量性能、剖析工作负载以寻找下一个优化方向。每个智能体通过Flyte运行独立工作流——编译NEFF可执行文件,对基线数据集做前向传播,结果必须达到0.999余弦相似度才算通过;然后做30分钟饱和基准测试在真实硬件上量性能。这个框架把优化循环变成了可自动验证的闭环,智能体不能以牺牲正确性为代价换取速度。
分层代理策略是这个方法论的核心设计。轻量模型做编译器参数的网格搜索——这类工作量大但容错性高,正确性门控自然兜底。推理智能体测试复杂假设、定位瓶颈,比如判断 per-accelerator throughput在单核空闲时远高于双核同时运行从而推断存在核间争用。最强代码生成器写自定义内核来修复瓶颈,比如把融合SwiGLU MLP从预构建实现重写为权重驻留版本。不同能力的模型匹配不同难度的任务,既控制成本又让能力强的智能体不至于在简单搜索上浪费算力。
由于许多大模型不了解Neuron SDK的最新功能和语法,Exa还使用了专门的neuron agentic development skills来补充上下文。这提示了一个实际约束:智能体辅助内核优化的效果部分取决于它能否获取目标平台的最新接口文档和最佳实践,通用代码生成能力在高度专业化的硬件栈上需要额外知识注入。
对任何在自定义加速器上做内核优化的团队,这个结构提供了一个可复用的模板:把优化拆成找方向、写代码、验证正确、测性能四个环节,用不同能力的模型匹配不同环节,用严格的数值门控防止优化引入静默错误。相比纯人类调优,它能在同一时间窗口内并行探索更多假设;相比让最强模型做所有事,它把简单搜索交给廉价模型,把算力集中在真正需要创造力的内核编写上。
边界同样清楚。47%是Exa在特定嵌入模型、特定工作负载、特定硬件实例(inf2.xlarge单NeuronCore)上的自报结果。优化路径中的具体步骤高度依赖模型架构——SwiGLU融合、注意力形状定制、padding削减都是针对他们模型的特征做的。智能体方法能否迁移到数值容差不同的模型(比如需要更高精度的医疗或金融场景)、或缺乏等效剖析工具的平台,原文未讨论。30分钟饱和基准是否足以捕捉所有性能退化模式,也没有给出分析。