Exa智能体优化
4 节点1 篇3 来源
AI搜索公司Exa开发了一套分层智能体工作流,用于自主优化AWS Neuron硬件上的推理内核,自报每百万文档嵌入成本改善47%。该方法论利用AI智能体编写自定义NKI(Neuron Kernel Interface)内核,并通过严格的0.999余弦相似度门控来防止精度损失。这一优化源于模型迁移期间需重新嵌入300亿文档的需求,导致其推理负载翻倍。
该过程包含三个关键步骤:对照基线数据集验证正确性、使用Neuron Profiler测量性能、以及剖析以识别内存溢出和FLOPS浪费等瓶颈。智能体处理的任务范围从网格搜索编译器参数到编写复杂的融合SwiGLU MLP内核,后者消除了高带宽内存停滞。形状特定的注意力内核进一步减少了填充浪费,解锁了显著的速度提升。
这之所以重要,是因为在Web规模下单位经济性至关重要;微小的单文档成本改进会累积成巨大的节省。虽然Exa将这些收益报告为自我验证的结果,但使用智能体编码进行底层内核开发代表了ML基础设施优化方式的转变。这种方法允许他们在Inferentia2和Trainium2芯片之间直接转移优化成果,增强了多区域部署的灵活性。
事情怎么走到这一步
Exa发布文章详述如何利用智能体开发工作流在AWS AI芯片上将嵌入吞吐量提高50%。
aws.amazon.com ↗报道指出Exa此前启动回填流程,重新嵌入300亿高优先级文档,导致嵌入负载翻倍并触发硬件重评估。
thechenabtimes.com ↗智能体编写了自定义NKI内核,包括消除HBM停滞的融合SwiGLU MLP内核和减少FLOPS的形状特定注意力内核。
aws-news.com ↗所有优化均通过对照参考基线的0.999余弦相似度阈值进行门控,以确保精度保留。
aws.amazon.com ↗