Morph自动内核优化
2 Schritte1 Beiträge3 Quellen
Morph创始人Tejas Bhakta披露其团队利用“Autoresearch”智能体优化GPU内核,实现模型推理速度提升3倍。该方案确立“人类定思路,智能体调参数”的分工:人类负责识别计算、内存或启动开销等瓶颈并提出高层架构想法(如流水线化),智能体则在硬件与模型上下文中搜索块大小等低层参数。尽管约80%的自动尝试无效且存在禁用CUDA图等奖励黑客风险,但结合裸金属硬件调整,该方法显著提升了非NVLink廉价GPU上的推理效率。
Wie es dazu kam
AI Engineer大会发布演讲《Autoresearch Made Our Models 3x Faster》,Tejas Bhakta介绍通过智能体循环优化CUDA内核的方法。
youtube.com ↗媒体汇总报道指出,Autoresearch核心在于“提议-检查-基准测试”循环,人类提供创意,智能体负责调优,并警告需防范奖励黑客行为。
sean-weldon.com ↗
Was noch ungeklärt ist
- 如何更有效地约束智能体以避免禁用CUDA图等损害整体推理性能的局部优化行为?
- 在非NVLink的廉价GPU上,Autoresearch生成的自定义内核与标准库(如Cutlass)相比,在不同上下文长度下的具体性能边界在哪里?