英伟达一刀劈开30B大模型！Nemotron-Labs-TwoTower用“双塔”架构实现并行生成，速度暴增2.42倍却只损失1.3%质量，这可能是大模型推理效率的另一条路！

Nemotron-Labs-TwoTower模型基于预训练的Nemotron-3-Nano-30B-A3B（混合Mamba-Transformer-MoE架构），将30B模型拆分为双塔：一个冻结的自回归Autoregressive Context Tower负责处理干净上下文，另一个扩散Diffusion Denoiser Tower通过并行去噪块状token进行生成。模型复用预训练权重，仅训练Denoiser部分（约2.1T tokens），在保持原模型98.7%质量的同时，实现生成吞吐量2.42倍提升。

传统大语言模型的生成瓶颈一直在于“自回归”机制——必须一个token接一个token串行输出，这在长序列或高并发场景下效率极低。NVIDIA这次的TwoTower设计堪称优雅而务实：它没有从零重训一个全新Diffusion Language Model，而是聪明地“拆分复用”现有强大骨干模型。Context Tower保持因果注意力，确保语义连贯性和知识保留；Denoiser Tower则利用双向块注意力并行精炼多个token，这种解耦让两个子网络各司其职，避免了传统扩散模型中“同一组权重既要记住干净上下文又要去噪”的冲突。