资讯1 分钟阅读·
编解码元数据可让VLM推理提速3.3倍
CodecSight用视频编码器元数据指导VLM推理，并发流最高3.3倍，FLOPs最多降93%，但为作者自报。
重要性局部证据E2 未复现
视频编码器元数据可以直接当作流式VLM推理的运行时信号：在视觉编码前剪枝图像块、按帧类型跨窗口选择性刷新KV缓存，无需模型特定训练或离线剖析，就能让并发流最高达到基线的3.3倍、执行FLOPs最多减少93%。
此前要加速流式VLM推理，通常得做模型特定训练或离线剖析，代价高且难以迁移到新模型与新负载。
Yulin Zou等九位作者自报：在三个VLM与四个视频负载上，其基于vLLM的实现并发流最高达基线3.3倍，平均首token延迟最高提速5.3倍，执行FLOPs最多减少93%，任务质量最多下降4.64个百分点。以上为作者自报基准结果。
该结果未覆盖其他模型与负载，尚无第三方复现；预印本4月7日首提，9月15日更新至v4，arXiv:2604.06036。