AI能画出以假乱真的3D场景,但未必真看得懂。最新测试里,GPT-6做250道3D理解题只拿到0.53分,Claude也没及格。会画不等于会看。空间推理还是大模型的硬伤,科学场景的3D数据,它照样处理不好。
多模态这边却在提速。Youtu-Parsing-Omni用一套共享编码器处理文档、图像、音频和视频,用一个统一结构整合十项解析任务。这个50亿参数模型在OmniDocBench v1.6拿到96.96分,在OmniParsingBench的开放权重模型里平均75.08分排第一,优势主要在音频和视频。代码和模型权重都已公开。
更底层的问题出在表征上。有项研究把“柏拉图表征假说”证成了定理:只要正样本是同一场景的不同视角,分别训练的JEPA就能学到跨模态一致的表示,差异只剩一个旋转。实验用了最多9.4亿张网络图片,要达到同样的对齐水平,所需样本比下一词元预测少42倍。一个1.09亿参数的文本JEPA,对齐效果居然胜过受测的720亿参数语言模型。下一词元预测对齐语言与视觉为什么效率低,原因也在这里。
三件事放在一起看,光堆参数不够,架构和训练目标更关键。多模态解析、跨模态对齐都在换打法,3D空间理解这块短板还悬着。