只训练Transformer的“中间一层”，就能媲美甚至超越全参数RL后训练？alphaXiv分享的一项研究显示，在RL后训练中，模型性能提升并非均匀分布于所有Transformer层，而是高度集中在少数几个中间层（通常是模型深度的40%-60%左右位置）。通过系统性的层感知实验，研究者发现：仅针对这些高贡献层进行训练，就能恢复甚至超过全参数更新的大部分甚至全部收益，同时提供了一种更简单、高效的优化方案。该现象在Qwen系列等多个模型、GRPO/GiGPO/Dr.GRPO等多种RL算法，以及数学推理、代码生成、Agent决策等多任务域中表现出惊人的一致性。

这篇论文核心观察，不在于“省计算”这种表面效益，而是它揭示了Transformer在RL后训练阶段的内在“层级分工”机制。传统做法默认全参数均匀更新，相当于把力气撒在整个网络上，但实际收益高度集中——输入端层更侧重表层语法和token处理，输出端层偏向最终生成格式，而中间层才是真正进行抽象概念操纵、高层规划和推理跃迁的核心地带。RL的任务本质是优化“决策与规划”，自然就集中作用于这些中间抽象层。