【Scaling Laws 纠偏：那个误导了行业两年的 Bug】OpenAI 早期发布的 Kaplan Scaling Laws 曾是 AI 界的金科玉律，但它其实带了一个隐蔽的“Bug”：研究者在实验中对所有规模的模型都使用了固定的训练数据量，并配合了一个在终点自动归零的学习率调度（LR Schedule）。这导致大模型在还没“吃饱”时就因为学习率强行降速而表现出停滞假象，让业界一度误以为模型规模比数据量更重要，从而造出了许多体量巨大但训练极度不足的“虚胖”模型。底层逻辑在于，Scaling Laws 本质上是资源分配的经济学。DeepMind 后来通过 Chinchilla 证明了数据与参数应当同比例缩放，纠正了这一偏差。这件事告诉我们，即便是顶级实验室的底层共识，也可能建立在某个被忽视的超参数陷阱之上。现在的共识已经很明确：别盲目追求参数大，把模型训透、让数据管够，才是性价比最高的路径。 x.com/CompleteSkeptic/status/2073442518117884197