大模型三道关:巨亏、词汇印记与难题拆解
AI行业

大模型三道关:巨亏、词汇印记与难题拆解

Anthropic 的巨亏把模型公司的账本摊开了。估值的故事讲在模型层,钱却流向算力、云和芯片供应商。模型公司越往上冲,越像在给基础设施打工。收入涨不过训练开销,估值就挂在别人的产能和定价上。

数据这边也有能算的账。预训练语料和基准测试的词汇对齐度越高,零样本准确率越稳。研究者提出的 UCE 指标用词级单元交叉熵衡量,不依赖分词器,也不依赖模型。四种语料、三种模型规模、十项基准的受控实验,结论一致。挑词汇更对齐的训练文档,或者把提示路由给词汇更匹配的领域起草模型,都有实在收益。预训练数据会在模型行为里留下可测量的“词汇印记”。

难题也能改造。MagicBeanStalk 先让教师模型解种子题,核验最终答案,教师池都解不出的题直接丢掉。剩下的题按解题所需操作和依赖,拆成最多 3 道自包含子题。原本一次都答不对的数学题,就这样变成了可用的训练数据。难题从负担变成了资产。

三件事指向同一个现实:模型能力不全是堆参数堆出来的。算力账本决定谁能活,数据匹配决定零样本表现,题目工程决定稀缺数据能不能造出来。亏损、词汇印记、拆题,都说明大模型在从野蛮生长转向精细运营,行业也从讲故事变成了算细账。