AI推理芯片公司Positron高管称推理占AI工作负载三分之二,基础设施转向模块化数据中心
Positron AI销售主管表示,推理已取代训练成为AI基础设施决策的主要驱动力,推动行业转向低功耗、通用内存芯片和快速部署的模块化数据中心。
Positron AI Inc.销售和业务发展主管Cameron McCaskill在SC26超级计算会议上表示,目前通过AI基础设施运行的工作负载中,约三分之二为推理,三分之一为训练。这与2023年的情况形成显著逆转,当时训练占比约为85%,推理仅占15%。McCaskill指出,这一转变正在驱动企业构建AI基础设施的经济决策。
为了捕捉这一市场变化,Positron AI围绕通用内存而非稀缺且昂贵的高带宽内存(HBM)设计其推理设备。该公司第一代Atlas服务器运行在可编程芯片上,并计划于明年初为其Titan服务器流片自研硅片。Oracle Corp.本季度将在其云中上线约340台Atlas服务器,一家neocloud提供商也已签约使用Atlas并承诺采用Titan。
跳过HBM的设计选择使功耗保持在风冷房间可承受的水平。单台Positron服务器的功耗约为4,500瓦,一机架Titan服务器的总功耗在40千瓦以内。这种足迹适合那些能够找到几兆瓦廉价电力而无需面对繁重监管障碍的站点。McCaskill注意到,来自拥有半兆瓦至2.5兆瓦容量的模块化数据中心运营商的需求正在上升,这些运营商的目标是在90到120天内从土地和电力阶段过渡到可变现的令牌生成。