CoreWeave对象存储上线跨区域写入与归档层
跨区域写入加速与Archive层已可用,训练数据可少存副本,性能数字均为厂商自述。
CoreWeave于9月16日在官方博客宣布,其AI对象存储新增两项功能并已可用:跨区域写入加速和Archive归档存储层。
跨区域写入加速让训练作业以本地延迟写入远端区域的存储桶,减少为靠近GPU而维护的多份数据副本。Archive层用于保存预期很少读取的检查点等数据,避免直接删除。
博客同时介绍其LOTA本地缓存组件,称某前沿模型客户在超过15000块GPU和20PB缓存上使用,缓存命中时p99读取延迟比直接读桶低8倍以上。这些数字均为厂商自述,未附独立测试。