数据重复正在“悄无声息地吞噬”前沿大模型的1/3算力！斯坦福这项ICML 2026 Oral论文《Internal Data Repetition Destroys Language Models》揭示：即使经过激进去重的语料，仍会保留一定程度的文档级重复。这些重复会导致模型训练中高达1/3的计算资源被浪费，且浪费程度随模型规模呈现可预测模式。这对当前数据受限的前沿模型预训练具有关键指导意义，能帮助优化昂贵的训练流程。

在“数据枯竭”已成为行业共识的今天，这篇论文的价值之处不在于发现重复有害（这是老生常谈），而在于它把问题推到了量化与可操作的高度。过去我们常说“重复会导致过拟合或崩溃”，但这篇工作用“Compute-Equivalent Loss”框架，直接把重复的代价翻译成“浪费了多少FLOPs”，这才是训练大模型的“硬通货”。对于动辄数百万乃至上亿美元的训练跑来说，节省或浪费1/3算力，意味着数千万美元级别的差异。