开源内存数据库Valkey发布9.2版,引入分布式KV缓存以降低AI推理成本
Valkey 9.2通过共享GPU集群的KV缓存复用计算结果,声称可降低高达40%的AI推理成本和80%的首字延迟。
Linux基金会治理下的开源内存数据存储项目Valkey于2026年11月19日正式发布9.2版本。该版本的核心亮点是引入了分布式键值(KV)缓存功能,旨在解决智能体(Agent)应用中GPU重复处理相同提示词、工具定义和对话历史导致的算力浪费问题。
据官方发布说明及早期采用者报告,通过在GPU集群间建立共享缓存层,推理引擎可以复用之前的计算结果而非重新计算。Valkey声称这一机制可将AI推理成本降低高达40%,并将首字生成时间(Time-to-First-Token, TTFT)缩短高达80%。部署该功能无需修改应用代码,且支持云无关环境。
压缩模型公司Multiverse Computing提供了实际数据点:在接入基于Valkey的分布式KV缓存后,其在保持中位TTFT在一秒以内的目标下,同一批GPU处理的请求量增加了50%;在正常流量下中位TTFT降低了23%,而在峰值流量下降低了95%。这些性能提升目前主要基于厂商自测和早期用户反馈,尚未经过广泛的独立第三方基准测试验证。
此外,Valkey 9.2还推出了“无分叉快照”(Forkless Snapshots)功能,消除了传统内存备份过程中常见的内存使用量翻倍现象,使运维人员能够根据实际应用需求而非最坏情况下的备份窗口来配置硬件。新版本还优化了跨地域复制流量,声称可减少约50%至65%的网络传输费用。