资讯1 分钟阅读·
新研究发布潜在上下文语言模型,称可将推理峰值KV内存降低至多7.9倍
纽约大学等机构团队更新LCLM模型,声称在压缩长文本时能大幅降低内存占用并保持高准确率。
重要性实质性证据E2 未复现写法快讯
由纽约大学、哥伦比亚大学、普林斯顿大学等机构研究人员组成的团队于2026年10月18日更新了“潜在上下文语言模型”(Latent Context Language Models, LCLMs)的研究论文。该模型旨在解决大语言模型在处理长上下文时面临的内存瓶颈问题。
与传统的KV缓存压缩方法不同,LCLMs采用编码器-解码器架构,将长输入序列映射为更短的潜在嵌入序列。研究团队表示,这一方法在保持模型通用任务性能的同时,显著提升了压缩速度和内存效率。
根据论文v2版本的摘要,LCLMs不仅作为长程智能体的骨干网络,允许智能体快速浏览压缩后的长上下文并按需展开相关片段,还能在推理过程中将模型自身生成的推理链压缩为潜在记忆。作者声称,这种推理压缩在完整的MATH测试集上几乎无损,并将峰值KV使用量降低了多达7.9倍。
目前这些结果均为作者自报数据,尚未经过独立复现验证。模型代码和权重已在GitHub和Hugging Face开源。