Hugging Face上线AWS Trainium模型兼容性查询工具:覆盖主流文本与多模态模型
Hugging Face推出新工具,帮助开发者快速确认哪些主流AI模型可直接在亚马逊Trainium芯片上运行,并提供复现脚本。
Hugging Face于2026年10月23日发布了一个名为“torch-neuronx model support”的Space应用,旨在回答开发者关于“我的模型能在AWS Trainium上运行吗?”的问题。该工具列出了Hub上下载量最高和趋势最热的Transformers模型在Trainium芯片上的实际运行状态。
对于每个被测试的模型,该页面显示其是否无需修改即可运行、所需的Trainium核心数量、包含编译时间的总耗时以及峰值设备内存。用户还可以查看用于测试的具体Python脚本,以便在自己的环境中复现。目前,测试主要覆盖文本生成和图文多模态两类任务,尚未扩展至扩散模型或其他架构。
需要注意的是,这里的“PASS”仅表示模型能在指定的Trainium实例上成功加载并生成流畅的英文文本(单核时与CPU输出对比,多核时由小模型判断流畅度)。它并不保证吞吐量满足生产需求,也不代表模型在所有任务或更长上下文窗口下都能正常工作。