Inkling 2 Mini 的架构带来了一个具体的服务问题:其 24 个物理层分为前奏(第 0–5 层)、循环核心(第 6–17 层)和尾声(第 18–23 层),且核心部分对每个 token 运行三次,权重共享。每次遍历维护自己的 KV 缓存,并从前一次遍历读取门控消息。因此,尽管模型只有 24 层,却拥有 48 个 KV 缓存和 48 个卷积状态缓存。
vLLM 的解决方案是将核心层的额外遍历注册为独立的注意力层,每个层拥有自己的 KV 和卷积状态缓存。KV 缓存管理器和前缀缓存随后将这些缓存视为与其他缓存无异,因此服务该循环不需要新的缓存管理逻辑。这是核心的工程决策:循环被吸收到现有的层抽象中,而不是需要新的执行路径。
跨遍历消息是第二个挑战。从第二次遍历开始,每个核心子层的输入——注意力的查询、键和值输入以及 MLP 输入——都会获得自己的消息,这些消息通过带有每层和每种输入类型学习到的查询的注意力-残差读取,从前一次遍历的两个块中读取。然后,一个 rank-64 控制器使用门控公式将消息合并到输入中:输出为 (1 − tanh(W_forget · h)) · input + tanh(W_gain · h) · message,其中 h 是通过下投影从 RMS 归一化的输入和消息计算得出的。对于 12 个核心层和每层 4 个输入,后续每次遍历每个 token 读取 48 条消息。
直接实现会在后续遍历的每个核心层启动 4 次消息读取和 4 个控制器,每个包含多个内核。vLLM 改为在一个注意力-残差内核中读取一层的所有四条消息,并堆叠四个控制器的权重,使它们的下投影和增益/遗忘投影作为批量 GEMM 运行。一个 Triton 内核计算控制器的 RMS 归一化,另一个内核将门控合并与消息所馈入的子层的 RMSNorm 融合。合并在 FP32 中运行,不使用 FMA 收缩,以匹配参考实现的数值精度。
对于层本身,vLLM 复用了 Inkling 2 Small 的融合内核——将每个子层的全规约、短卷积、残差更新、注意力-残差混合和 RMSNorm 融合到一个内核中——并将隐藏大小从 4,608 泛化到 2,304,同时增加了一种新模式,返回 RMSNorm 之前的 FP32 混合结果,以便后续遍历可以将它们的消息合并到其中。
Thinking Machines 还发布了 TML-d24-varloop-research,这是一个经过训练以支持可变遍历次数的检查点。vLLM 通过 --hf-overrides 暴露两个选项:loop_num_passes(至少为 1,默认为 3)和 loop_share_cache(核心层的所有遍历共享一个 KV 缓存,每次遍历覆盖前一次遍历的键和值;卷积状态保持每次遍历独立)。在单个 GB200 上,TP1,4K 上下文,仅前向传播的情况下,测得的解码步时间为:批次大小为 1 时,1 次遍历为 1.51 ms,2 次遍历为 2.67 ms,3 次遍历为 3.85 ms;批次大小为 32 时,分别为 3.81 ms、5.92 ms 和 8.11 ms。KV 缓存容量从 1 次遍历时的 352K tokens 下降到 3 次遍历时的 175K tokens。在 3 次遍历并使用共享 KV 缓存的情况下,解码时间基本不变(批次大小为 1 时为 3.86 ms),但容量恢复到 194K tokens——共享释放的内存少于减少一次遍历,因为每次遍历的卷积状态缓存仍然存在。
关于准确性的声明是,vLLM 保持了参考实现的数值精度:每一步的数据类型相同,NVFP4 和 MXFP8 激活量化相同,消息合并使用 FP32,仅规约顺序不同。在固定提示词下,48 次层访问中的隐藏状态与参考实现的差异,大致相当于参考实现自身的 FlashAttention-4 和 PyTorch 注意力路径之间的差异,且在给定相同输入的情况下,MoE 输出按位匹配。端到端准确性在高达 1M tokens 的海底捞针测试、MMMU-Pro、HLE 和启用 DSpark 的 GSM8K 上进行了测试。
值得注意的一个边界情况是:DSpark 推测解码器在四个固定的层访问处读取目标的隐藏状态(前奏中一次,第二和第三次遍历中各一次,以及最终输出),因此它需要默认的 3 次遍历配置,不能用于可变遍历次数。
信息源:vllm.ai