阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · MaLoW记忆框架1 分钟阅读·2026-10-16DisconfirmAI 编辑部

预印本:MaLoW将流式视频历史内化为LoRA权重,OVO-Bench回溯准确率提升3.9至11.8%

新框架MaLoW通过HyperNetwork将视频历史压缩进LoRA权重而非输入上下文,解决流式VLM的记忆与实时观察竞争问题。

重要性实质性证据E2 未复现写法快讯

原文发布时间 2026-10-16 12:00

威斯康星大学麦迪逊分校与北京大学团队提出MaLoW,一种用于流式视觉语言模型(VLM)的新记忆框架。该框架不将历史观察结果重新引入有限的输入上下文,而是通过循环超网络(recurrent HyperNetwork)将视频观察增量整合到固定大小的LoRA权重中。

在OVO-Bench基准测试的回溯部分,MaLoW在不同视频骨干网络上比先前的记忆方法高出3.9%至11.8%,且仅带来适度的延迟开销。此外,该方法泛化至视觉-语言-动作模型,在Simpler WidowX任务上将动作成功率提高了9.3%。

为支持训练,团队构建了MaLoW-Instruct数据集,包含来自56K视频的381K问答对。目前结果基于作者自测,尚未经过独立复现验证。

来源

  • 原始出处arxiv.org↗
专题

MaLoW记忆框架

MaLoW是一种针对流式视觉语言模型(VLM)的记忆框架,其核心创新在于不再将历史视频帧重新引入输入上下文,而是通过循环超网络(Recurrent HyperNetwork)将观察到的信息增量式地整合进固定大小的LoRA权重中。这一设计解决…

2 节点1 篇更新于 2026-10-16 22:40

事情怎么走到这一步

  1. 2026-10-15Zhuoming Liu等人在arXiv发布预印本《Memory as Weights: Internalizing Long-Term History for Streaming Videos》,正式提出MaLoW框架。
登录 / 注册
阅读研究雷达投资体系
2026-10-16
媒体跟进报道,确认MaLoW在StreamingBench达到84.8%准确率,并详细披露其通过HyperNetwork更新LoRA权重的技术细节及数据集MaLoW-Instruct(381K QA对)。

还没定论的部分

  • MaLoW在更长视频序列下的权重累积稳定性如何?是否存在灾难性遗忘风险?
  • 与基于检索的方法(如FlashBack)相比,MaLoW在需要精确引用原始像素级证据的任务中表现如何?
  • 代码和数据集是否已完全开源以供复现?
读完整专题 →
带入研究 →