4B模型的翻译能力反超12B,这是HexaBee-4B交出的成绩单。底座是Gemma 3 4B IT,训练分三步:先用维基百科数据继续预训练,再把多语言问答和答案翻译放一起联合训练,最后专攻双向翻译。阿拉伯语、中文、英语、希伯来语、波斯语、西班牙语之间共30个翻译方向,全都覆盖。36,572个合成测试样例上,方向宏平均chrF++拿到73.75。对比一下,Gemma 3 4B IT只有57.11,12B IT也只有66.83。所有方向,它都赢过这两个基线。
长上下文推理这边,LongR的思路是边想边读。它在推理和查阅文档之间来回交替,奖励信号取自相关文档带来的相对信息增益,不需要人工标注证据。LongBench v2上提升超过9%,RULER和InfiniteBench也持续涨分。换用不同的强化学习算法,效果同样成立。
扩散模型想省钱,就得压token。压太狠会出问题:通道加多,重建变好,生成反而更难。APEX把层级潜在空间和按通道组的异步去噪绑在一起,解决这个矛盾。自编码器按"先结构后细节"的顺序排通道前缀,共享去噪器在错开的局部时间步生成它们,token数一点没增加。ImageNet-512上,64倍和128倍压缩下它全面领先对比方法;训练和引导采样算力相同时,还打败了256-token模型。代码已经开源。
三篇论文说的是同一件事:堆参数不是唯一答案。小模型靠训练流程设计就能越级,长文本靠奖励机制省掉标注,扩散模型靠潜在空间排布换效率。巧劲越来越值钱。