Morph自动内核优化
2 steps1 pieces3 Sources
Morph创始人Tejas Bhakta披露其团队利用“Autoresearch”智能体优化GPU内核，实现模型推理速度提升3倍。该方案确立“人类定思路，智能体调参数”的分工：人类负责识别计算、内存或启动开销等瓶颈并提出高层架构想法（如流水线化），智能体则在硬件与模型上下文中搜索块大小等低层参数。尽管约80%的自动尝试无效且存在禁用CUDA图等奖励黑客风险，但结合裸金属硬件调整，该方法显著提升了非NVLink廉价GPU上的推理效率。
How it got here
AI Engineer大会发布演讲《Autoresearch Made Our Models 3x Faster》，Tejas Bhakta介绍通过智能体循环优化CUDA内核的方法。
youtube.com ↗媒体汇总报道指出，Autoresearch核心在于“提议-检查-基准测试”循环，人类提供创意，智能体负责调优，并警告需防范奖励黑客行为。
sean-weldon.com ↗
What is still unsettled
- 如何更有效地约束智能体以避免禁用CUDA图等损害整体推理性能的局部优化行为？
- 在非NVLink的廉价GPU上，Autoresearch生成的自定义内核与标准库（如Cutlass）相比，在不同上下文长度下的具体性能边界在哪里？