华盛顿大学最近出了个研究,直接给"更多数据、更大模型"的迷信泼了盆冷水。说白了,预训练数据的知识边界才是模型能力的天花板。有意思的是,5年前一份被MIT教授骂作"无稽之谈"的PPT,现在回头看,竟然精准预言了OpenAI o1和o3推理模型的核心思路。大模型的玩法,实际上已经悄悄变了。
现在大家都不卷通用参数了,垂直领域成了新战场。你看安徽农大王晓波团队,刚在第32届全国大豆科研生产研讨会上搞了个大豆垂直大模型"丰菽"2.0。这玩意儿把种质资源、基因组、病害样本甚至中外文献全揉在了一起,靠多模型协同把偏差降下来,直接上手辅助智能育种。这才是AI落地农业的硬核操作。
另一条技术线也在闷声搞大事,就是跨会话上下文的状态传递。主要解决LLM任务在会话边界处的延续问题。别觉得这只是个工程细节,它直接关系到Agent类应用到底能不能用。总不能上下文一溢出,任务就稀里糊涂断了吧?
不管是不信邪去挑战规模迷信,还是一头扎进垂直深耕,又或者搞推理革新和会话连续性突破,大模型早就过了那个"大力出奇迹"的粗放阶段。现在拼的是精细化和专业化。谁要是还死盯着参数量不放,估计早就掉队了。