Valkey
3 节点1 篇5 来源
由Linux基金会管理的开源内存数据存储Valkey于2026年11月19日发布9.2版本。该更新引入了分布式键值(KV)缓存,旨在通过复用GPU集群中的计算结果来降低AI推理成本。Valkey声称这可将支出降低高达40%,并将首字延迟(TTFT)减少高达80%。然而,独立基准测试表明收益取决于工作负载:一项测试显示请求处理量增加了约25%,但由于缓存开销,GPU账单也相应上升了约15%。此外,9.2版本还包含了无分叉快照功能以防止备份期间的内存激增,以及用于提升大数据集性能的B+树排序集合。
事情怎么走到这一步
Valkey发布技术深度文章,介绍KV缓存原理,指出共享缓存可使同一GPU服务约25%更多的请求。
valkey.io ↗Valkey 9.2正式发布,引入Path Hash数据类型、无分叉快照及复制压缩功能。
linuxfoundation.org ↗AWS宣布Amazon ElastiCache for Valkey的分布式KV缓存功能正式可用,支持自托管LLM推理。
aws.amazon.com ↗
还没定论的部分
- 不同上下文长度的生产工作负载如何影响净成本节省与新增基础设施复杂性之间的平衡?
- 目前处于0.x版本的valkey-large-object模块在长期生产环境中的稳定性如何?