Liquid AI发布视觉草稿模型,自报解码提速逾三倍
草稿模型仅增8.9%参数即可加速视觉模型解码,但端到端增益受视觉编码阶段限制,数据为厂商自测。
重要性局部证据E2 未复现写法快讯
Liquid AI于9月24日发布LFM2.5-VL-DSpark,一个为其30亿参数视觉语言模型LFM2.5-VL-3B配套的投机解码草稿模型。公司自报,端侧解码最高提速3.13倍,H100上最高2.66倍,端到端延迟最高改善2.62倍和2.27倍。
草稿模型约2.8亿参数,仅使部署模型参数增加8.9%,并首日支持llama.cpp、MLX-VLM和SGLang三种推理框架。投机解码由目标模型逐token验证,输出与原模型完全一致。
公司同时说明其边界:投机解码只加速解码阶段,不加速视觉编码和prefill,端侧设备上后者占墙钟时间更大,因此端到端增益明显低于解码增益。以上速度数据均为厂商在六项视觉任务上的自测结果。