英伟达Dory推理模型
5 节点1 篇5 来源
英伟达于2026年10月16日发布了40亿参数的循环推理模型Dory 1.0-4B。该模型采用“弹性推理计算”架构，通过重复应用共享的中间层块（Recurrent Block），允许开发者在不更换权重文件的情况下，通过调整循环次数（1至4次）来平衡计算成本与准确率。官方基准测试显示，增加循环次数能显著提升代码生成和长上下文任务的表现，但在知识密集型任务上仍落后于更大参数量的竞品。
然而，实际部署中存在关键陷阱：虽然模型卡宣称支持“last-loop”KV缓存模式以维持内存恒定，但其提供的默认启动命令却使用了“per_loop”模式，导致在4次循环时显存占用激增2.7倍。此外，随着循环次数增加，推理速度呈线性下降，且在启用推理模式时可能出现极长的思考延迟。目前vLLM和llama.cpp的原生支持仍处于PR审查或草稿阶段，尚未进入稳定发行版。
事情怎么走到这一步
英伟达在Hugging Face发布NVIDIA-Nemotron-Labs-Dory1.0-4B系列模型（BF16, NVFP4, MXFP8, GGUF格式），并公布基准测试结果。
huggingface.co ↗ByteForward报道指出，尽管权重已公开，但vLLM集成仍在PR审查中，llama.cpp集成为Draft状态，部署需从特定分支构建。
bytefwd.com ↗TronGreen查证发现，vLLM PR #60149已于当日合并进主分支，但最新正式版v0.32.0发布于10月18日，因此正式版尚未包含Dory支持。
trongreen.com ↗MarkTechPost发布教程，演示如何从GGUF文件头预测成本，并确认了默认循环次数为4而非推荐的2，以及缓存模式对分布的影响。
marktechpost.com ↗Hack-Log在16GB M4 Mac上实测发现，使用官方默认命令（per_loop模式）运行4次循环时，KV缓存膨胀至单次的2.7倍；改为last_loop模式后内存保持恒定，但生成速度降至1次循环时的约38%。
note.com ↗