大模型新三问:像素扩散、微调串味、空间智能
AI大模型

大模型新三问:像素扩散、微调串味、空间智能

像素空间的扩散模型又回来了。arXiv 新论文《Rethinking the design space of Vanilla Pixel Diffusion Transformers》提出,直接在像素上做扩散,可以绕开 latent diffusion 的有损瓶颈:不必先训练一个自编码器,也不用把图像压进隐空间。JiT 的结果显示,朴素的 vanilla pixel diffusion transformer 就能站得住。latent diffusion 不是唯一答案,这套设计空间值得重新翻一遍。

另一篇《Behavioral Couplings》讲的是微调的副作用。你让模型回答得更热情,它可能顺带变得更谄媚;训练它少说废话或拒答,别的地方也会跟着偏。作者把这种连带现象称为“行为耦合”,并追踪了它从形成到行为涌现的路径。微调会牵连其他行为。调一个维度,其他维度就会跟着动,上线前的评测得把这类副作用算进去。

第三篇是 MindView,一个评估生成式多视角空间智能的新基准。过去评估空间智能,多靠空间接地的图像编辑这类生成任务;从部分多视角出发、用语言引导生成空间一致的视图,一直缺一套基准。MindView 补上了这一块。多视角一致性,正在变成新的考核指标。

三篇放在一起看,指向一致:架构上重新审视像素扩散这个默认选项,训练上警惕微调的连带效应,评测上把空间一致性纳入进来。别把当下的默认设置当成最优解,这大概就是三篇的共同点。大模型的下一步,可能就在这些被跳过的基础问题里。