资讯1 分钟阅读·
预印本:MaLoW将流式视频历史内化为LoRA权重,OVO-Bench回溯准确率提升3.9至11.8%
新框架MaLoW通过HyperNetwork将视频历史压缩进LoRA权重而非输入上下文,解决流式VLM的记忆与实时观察竞争问题。
重要性实质性证据E2 未复现写法快讯
威斯康星大学麦迪逊分校与北京大学团队提出MaLoW,一种用于流式视觉语言模型(VLM)的新记忆框架。该框架不将历史观察结果重新引入有限的输入上下文,而是通过循环超网络(recurrent HyperNetwork)将视频观察增量整合到固定大小的LoRA权重中。
在OVO-Bench基准测试的回溯部分,MaLoW在不同视频骨干网络上比先前的记忆方法高出3.9%至11.8%,且仅带来适度的延迟开销。此外,该方法泛化至视觉-语言-动作模型,在Simpler WidowX任务上将动作成功率提高了9.3%。
为支持训练,团队构建了MaLoW-Instruct数据集,包含来自56K视频的381K问答对。目前结果基于作者自测,尚未经过独立复现验证。