一个研究者从零开始,训出29.4亿参数的Praxis和102.3亿参数的Logos。两个模型都是Mamba-2加注意力,再掺进混合专家架构,各吃1.02万亿token。在报告对比的17款模型里,Logos排第七,训练数据和每token激活的参数量都比前几名少一大截。它数学挺能打,代码、指令遵循和长上下文就明显拉胯。报告还老实交代了哪些训练和微调决策拖了后腿,其中一个长度奖励写反了——答得又长又对,反而挨罚。
另一头,土耳其语的对话轮次预测有了专用模型。TurnTurk-GPT用土耳其语GPT-2,在合成加真实对话数据上微调,实测胜过一款常用的多语言轮次结束检测器。前提是测试说话者得在训练集里出现过,它才能压过零样本语言模型;碰上没见过的说话者,两边没有统计学上的显著差异。把轮次末尾词的后缀删掉,平均精确率最多掉44%。土耳其语动词词尾的形态,就是关键线索。模型和评测流程都已公开。
更炸的在权重层面。研究人员称,大模型能直接读取并修改神经网络的权重。例子是GPT-6 Astra动手编辑Qwen3.5-0.8B的权重,把它的数学能力提了上去。公开说明没交代具体方法和结果,可复现性要打个问号。这条路真走通了,微调的逻辑就得重写:不用梯度下降,直接让模型去改另一个模型。
三件事摆在一起看,挺有意思。一个人就能训出有竞争力的模型,Mamba-2、MoE这类架构上的花样正把成本往下压;细分语种抓住词形细节,也能做出实用工具;权重直改要是成立,模型迭代会快得离谱。当然,报告里的短板和语焉不详的地方,也得一并看清楚。