技术作者 Grootendorst 拆解多模态 LLM 生成的两条架构路线

今天大多数多模态 LLM 只在一个方向上是多模态的：它们能理解图像、音频和视频作为输入，但输出仍然只有文本。让 LLM 真正生成这些模态，需要一套完全不同的架构。技术作者 Maarten Grootendorst 在这篇图解指南中把这个问题拆成了两条清晰的路线——Late Fusion（输出投影）和 Early Fusion（统一生成）——并用具体模型说明各自的机制和代价。

先理解生成本身。要连接生成器到 LLM，得先知道非文本模态是怎么被生成的。图像生成的核心是扩散模型：从纯噪声出发，逐步预测并去除噪声，直到还原出符合文本描述的图像。Stable Diffusion 的做法是把图像先通过变分自编码器压缩到潜在空间，在这个低维张量上运行 U-Net 的迭代去噪，最后再解码回像素。文本条件通过 CLIP 编码器的交叉注意力层注入，让模型知道哪些结构该保留、哪些该当作噪声移除。

音频生成的思路类似但表示方式不同。AudioLM 用 SoundStream 这个神经编解码器把音频压缩成离散 token：先用 VQ-VAE 的变体——残差向量量化——把连续音频映射到一个固定码本上，得到声学 token；再用 w2v-BERT 提取语义 token，捕捉说话内容和意图。两层 token 分别由链式 Transformer 逐层生成，最后由 SoundStream 解码器还原为波形。这里的关键约束是：Transformer 需要离散表示，所以连续向量必须经过量化才能进入生成流程。

视频生成沿用了图像扩散的框架，但多了一个时间维度。Latte 模型探索了两种 token 化方式：逐帧空间 patch 和跨帧 tubelet 压缩。作者发现后者反而更差，他们推测压缩会丢失时空信息。最终表现最好的是交错空间和时间注意力块的架构，用 Fréchet Video Distance 评估。

有了这些生成机制，再看两种连接方式。Late Fusion 的核心是投影：LLM 输出文本 token 的嵌入，通过一个可训练的 MLP 或小型 Transformer 投射到外部生成器能理解的向量空间。NExT-GPT 是典型例子——它给每种模态设置特殊 token（如 [IMG]、[AUD]、[VID]），LLM 生成这些 token 后，下游的预训练扩散模型根据 token 内容条件化生成。整个过程中只有投影层需要训练，模型本身保持冻结，参数量从数十亿降到数百万。OmniGen2 和 BLIP-3o 也走这条路线，把自回归 Transformer 和扩散模型解耦。

Early Fusion 则把生成能力直接内嵌到 LLM 架构里。DeepSeek 的 Janus 用两套编码器分别服务理解和生成：SigLIP 提供高层语义表示用于理解，VQ-GAN 提供离散图像 token 用于生成。LLM 同时输出文本 token 和图像 token，各自解码回对应模态。训练分三个阶段：先只训练适配器和图像头建立概念连接，再统一预训练让模型同时学习理解和生成，最后做指令微调。

两条路线的取舍很明确。Late Fusion 训练成本低、可以复用强大的独立生成器，但 LLM 本身不是多模态实体，更像是一个调用工具的 agent。Early Fusion 把所有能力统一在一个架构里，训练需要更新大部分参数、成本高得多，但各模态在同一个表示空间中联合优化，输出更准确。Grootendorst 的判断是，随着原生多模态 LLM 增多，agent 系统会获得更强的多模态环境控制能力——但这是基于架构趋势的推断，不是已量化的性能结论。