Thinking Machines Lab发布Inkling 2 Mini:面向本地部署的循环混合专家模型
Thinking Machines Lab发布Inkling 2 Mini,一款采用创新循环架构、专为本地AI环境设计的小型多模态模型。
2026年11月20日,Thinking Machines Lab发布了Inkling 2 Mini,这是一款专为本地AI环境设计的新型多模态混合专家(MoE)模型。该模型拥有约260亿总参数和每token 30亿激活参数,支持高达100万token的上下文窗口,并能够处理文本和图像输入。
其核心架构创新在于“循环”Transformer设计。虽然模型物理上只有24个解码器层,但在推理过程中,中间的12层会被循环访问三次。这使得模型每个token执行48次逻辑层访问,从而在不增加存储权重数量的情况下有效提升了容量。信息通过这些循环之间的跨通道消息传递,每一轮循环都利用学习到的门控控制器来细化上一轮的计算结果。
Inkling 2 Mini采用混合精度格式(NVFP4和MXFP8专家权重),并包含DSpark草稿器以加速生成。它支持Transformers、Llama App (llama.cpp)、MLX和SGLang等主流框架的零日集成。此外,还提供了一个可变循环次数的研究变体,允许用户通过调整循环次数在推理速度和生成质量之间进行权衡。
根据厂商自测基准数据,与Gemma 4 31B、Qwen3.8-27B和Nemotron 3.5 Super VL等模型相比,Inkling 2 Mini在48项测试中的32项中领先。它在Artificial Analysis Intelligence Index v5中声称在其类别中达到最先进水平。然而,这些结果基于内部测试,尚未得到独立复现。