OpenAI 发布 GPT-6.1 Terra。官方说它能快速、高效地大规模操作计算机,生成的文字也更清晰自然。价格也一起公布,输入每百万 Token 1 美元,输出每百万 Token 5 美元。基准测试和技术细节?一个字都没给。想判断它到底强多少,只能等第三方实测。
另一项研究盯上了生成式奖励模型的漏洞。这类模型做偏好判断时会附上一段自然语言论证,可结论对了,论证未必站得住脚。DeCert 不用参考答案,也能判断论证本身是否有效、跟结论是否对得上。它拿多个采样判断中论证质量的差异当偏好监督信号,用来分辨强论证和弱论证。在两个模型系列、多个分布内外基准上,DeCert 都稳定压过强基线,位置一致性准确率最高提升 14.8 个百分点。
第三项研究更扎心。作者分析了 G-Retriever。它的做法是用图神经网络生成图专属 Token,再塞进 LLM 提示。三个基准、三种图编码器、两个 LLM 系列,冻结模型和 LoRA 微调都跑了一遍。结果发现,不同输入生成的图 Token 几乎无法区分。换成数据集均值、其他样本的 Token,甚至损坏图生成的 Token,答案准确率都没什么变化。一个从不读图结构的学习型常量提示,表现能打平甚至超过 G-Retriever。作者把这种现象叫“令牌坍缩”。他们还提醒,Token 变了,不等于模型真用了图信息。他们提出一种两阶段方法生成非坍缩 Token,代码已经公开。
三则消息放一起,反差挺明显。模型能力和价格继续往前推,评测手段和“看起来有效”的机制却被逐个拆穿。数字好看,不等于底层逻辑成立。