Trainium
5 节点1 篇5 来源
亚马逊云科技(AWS)于2026年10月正式推出开源原生PyTorch后端TorchNeuron,标志着其自研AI芯片Trainium的训练栈战略发生根本性修正:从依赖复杂的XLA编译模型转向支持标准PyTorch API和Eager模式。这一转变旨在消除开发者将代码迁移至Trainium的摩擦,使其能像使用CUDA一样直接运行现有PyTorch代码。
尽管方向正确,但独立分析机构SemiAnalysis指出,首次训练步的编译耗时仍是主要瓶颈,平均可达正常步时的30至55倍,这对频繁迭代架构的研究者构成实质挑战。与此同时,AWS通过引入“自适应Eager”模式和大规模自动化测试(覆盖841个代表性模型),试图在保持调试便利性的同时逼近全编译性能。目前,Deepgram等早期用户已在语音推理负载中验证了成本效益,但训练场景的大规模采用仍取决于编译延迟问题的解决进度。
事情怎么走到这一步
AWS在PyTorch Conference North America上宣布TorchNeuron公开测试版上线,作为开源原生PyTorch后端支持Trainium 2和3实例。
aws.amazon.com ↗AWS Neuron 2.33版本发布,集成TorchNeuron、Neuron Observer健康检测工具及更新的vLLM插件。
aws.amazon.com ↗Amazon Science发表技术博客,详解TorchNeuron如何利用AI代理筛选841个代表性模型进行基准测试,并介绍“自适应Eager”模式的运行时优化原理。
amazon.science ↗SemiAnalysis发布深度评测,确认Trainium转向原生PyTorch是重大战略修正,但实测发现首次训练步编译耗时高达平均步时的30至55倍,成为研究者采用的主要摩擦点。
newsletter.semianalysis.com ↗Disconfirm汇总报道,强调TorchNeuron虽解决了API兼容性问题,但编译延迟仍需优化才能广泛吸引前沿实验室以外的研究人员。