Modal多节点GPU集群正式商用,按秒计费
多机训练与推理可按秒租用带RDMA的GPU集群,性能数字均为公司自报,值得中小团队关注。
Modal于10月1日宣布其多节点GPU集群产品Modal Clusters正式商用,用一个装饰器即可申请集群。
集群通过RDMA互联,公司称单节点带宽最高6.4 Tbps,并为PyTorch和NCCL自动配置;调度器一次性分配全部节点,从共享算力池获取集群,按秒计费。公司称这是其测试一年半后的正式发布。
对没有自建机群的团队,这意味着分布式训练和推理可以按用量短租多机资源,不必按小时包租。带宽与获取速度等数字均出自Modal自己的博客,尚无第三方实测。
信息源:https://modal.com/blog/modal-clusters-generally-available