LeituraPesquisaRadarFramework de investimento
Entrar / Cadastrar
← Voltar para a leitura
TópicoEditorial DisconfirmAIAtualizado 2026-11-08 06:31

英伟达Dory推理模型

5 etapas1 peças5 Fontes

英伟达于2026年10月16日发布了40亿参数的循环推理模型Dory 1.0-4B。该模型采用“弹性推理计算”架构,通过重复应用共享的中间层块(Recurrent Block),允许开发者在不更换权重文件的情况下,通过调整循环次数(1至4次)来平衡计算成本与准确率。官方基准测试显示,增加循环次数能显著提升代码生成和长上下文任务的表现,但在知识密集型任务上仍落后于更大参数量的竞品。

然而,实际部署中存在关键陷阱:虽然模型卡宣称支持“last-loop”KV缓存模式以维持内存恒定,但其提供的默认启动命令却使用了“per_loop”模式,导致在4次循环时显存占用激增2.7倍。此外,随着循环次数增加,推理速度呈线性下降,且在启用推理模式时可能出现极长的思考延迟。目前vLLM和llama.cpp的原生支持仍处于PR审查或草稿阶段,尚未进入稳定发行版。

Como chegamos aqui

  1. 2026-10-16

    英伟达在Hugging Face发布NVIDIA-Nemotron-Labs-Dory1.0-4B系列模型(BF16, NVFP4, MXFP8, GGUF格式),并公布基准测试结果。

    huggingface.co ↗
  2. 2026-10-18

    ByteForward报道指出,尽管权重已公开,但vLLM集成仍在PR审查中,llama.cpp集成为Draft状态,部署需从特定分支构建。

    bytefwd.com ↗
  3. 2026-10-25

    TronGreen查证发现,vLLM PR #60149已于当日合并进主分支,但最新正式版v0.32.0发布于10月18日,因此正式版尚未包含Dory支持。

    trongreen.com ↗
  4. 2026-11-07

    MarkTechPost发布教程,演示如何从GGUF文件头预测成本,并确认了默认循环次数为4而非推荐的2,以及缓存模式对分布的影响。

    marktechpost.com ↗
  5. 2026-11-08

    Hack-Log在16GB M4 Mac上实测发现,使用官方默认命令(per_loop模式)运行4次循环时,KV缓存膨胀至单次的2.7倍;改为last_loop模式后内存保持恒定,但生成速度降至1次循环时的约38%。

    note.com ↗
Entrar / Cadastrar
LeituraPesquisaRadarFramework de investimento

O que ainda está indefinido

  • vLLM下一个正式版本何时收录Dory支持,以及其在生产环境中的吞吐量数据表现如何?
  • 独立第三方评测机构(如Artificial Analysis)是否会公布与英伟达内部估算一致的基准分数?
  • 在资源受限的边缘设备上,是否存在一个最优的循环次数阈值,使得准确率提升带来的收益超过延迟增加的损失?

Fontes

  • huggingface.co英伟达官方模型卡 (BF16)↗
  • arxiv.orgarXiv技术论文: Dory1.0-4B: A Looped Normalized-GPT↗
  • note.comHack-Log实测报告: 16GB M4上的内存与速度陷阱↗
  • marktechpost.comMarkTechPost教程: 成本预测与配置陷阱↗
  • trongreen.comTronGreen分析: 部署状态与基准对比↗

Cobertura neste tópico

  • NVIDIA Dory 4B Loop Inference Block: Predicting Costs from the GGUF Header, and a Trap with the Default Four Loops2026-11-08Notícias

    Practitioner Sana Hassan at MarkTechPost demonstrates a complete code tutorial for cost prediction in NVIDIA Dory 1.0 4B loop inference models: reading architecture parameters from the GGUF file header to calculate parameter count and KV cache size per loop, then verifying against running server logs. The process reveals two practical traps—the GGUF built-in default loop count is 4 rather than the 2 recommended by the model card—and that the last_loop cache mode produces a measurable distribution difference compared to per_loop when processing in chunks.