标准 Transformer 的跨层连接一直是"每层各管各的"。DAGFormer 换了思路，用联合训练的拓扑预测器给整个模型统一规划路由，还能按输入 token 调整连接强度。在 7500 万到 10 亿参数的 OLMo-2 上，WikiText-2 困惑度比标准 Transformer 降低 17% 到 25%。同一训练预算下，它也压过四种路由基线，剪枝后掉点更少，指令微调表现更好。
循环模型的坑在于怎么设计。受控实验把循环位置、输入注入、循环状态组织方式逐一拆开看，结论是"前置部分—循环模块—尾部"这套 Huginn 结构最稳，7.3 亿参数下 10 项基准全胜 Ouro。优势还能迁到混合专家模型，知识、推理、编程大多更强，常驻参数却少了 75%。循环是个需要精算的工程问题。
自进化模型的问题更微妙。R-Zero、Agent0、Skill Self-Play 这类方法只挑"看起来可学"的任务，更新却照单全收。可学的任务不等于有用的更新。HeirCommit 把更新后的模型冻住，用全新评估题决定要不要继承，同样接受率下有害更新占比降了 68% 到 83%。EvoHeir 再把参数继承和经验继承拆开，不继承模型也能留下经验，四个基础模型上数学和通用推理平均成绩最好，数学比 Agent0 高 5.3%。
三篇研究指向同一件事——大模型的结构和训练流程还有大量便宜可捡。路由该全局规划，循环该精打细算，自进化该有独立验收。先把设计做对。