Liquid AI发布RIPL引擎，称小模型实时推理延迟较vLLM降低最高28倍

Liquid AI于2026年10月22日宣布推出RIPL（Real-time Inference Pipeline），这是一款专为Liquid Foundation Models (LFMs)设计的低延迟推理引擎，目标是在实时请求路径中实现端到端响应时间低于50毫秒。

据Liquid AI官方博客发布的基准测试，在单张NVIDIA B200 GPU上，运行RIPL的LFM2.5-1.2B模型相比运行vLLM的Qwen3.5-0.8B模型，p95延迟降低了14.4倍至28.4倍。具体而言，在256输入/128输出的负载下，LFM2.5-1.2B的p95延迟为155.8毫秒，而Qwen3.5-0.8B为4,431毫秒。然而，当模型规模增至2.6B时，优势缩小至5.6倍，且在较长请求下无法满足50毫秒的目标。

RIPL声称通过优化从请求接收到响应完成的整个路径来提升速度，而不仅仅依赖模型架构。Liquid AI展示了对同一模型（LFM2.5-350M）在RIPL和vLLM上的对比，显示RIPL本身带来了显著的性能增益。该引擎目前仅面向企业客户开放，基于NVIDIA H100、H200、B200及RTX PRO 6000等GPU运行。

Liquid AI还提到Shopify正在生产环境中使用LFMs处理搜索增强等延迟敏感任务，推理时间低于20毫秒。需要注意的是，上述所有性能数据均源自Liquid AI的内部测试，尚未见第三方独立复现报告。