AI工具

本地跑、比参数、读古书:LLM生态正在加速分化

最近翻GitHub热榜和Hacker News,有个感觉特别强烈:大模型这条赛道,早就不光是"谁更聪明"的单线竞争了。有人死磕本地部署,把门槛往地上摁;有人做模型比价工具,帮你挑花眼;还有人更绝,只拿1913年以前的文本训了个"考古AI"。这些方向看着八竿子打不着,但拼在一起,LLM生态分化那点事儿,其实已经画得挺清楚了。

说白了,一个大技术栈成熟到一定程度,分工是必然的。你不可能要求每个人都从零造轮子,也不存在哪个模型能包打天下。生态自己会长出枝干来——搞基础设施的、搞垂直细分的、搞信息中介的,各占一摊。这个阶段的技术社区最有意思,乱七八糟,但最容易冒出好东西。

Ollama和Transformers:本地跑模型的左膀右臂

先说两个GitHub上的老面孔。Ollama现在17.8万Star,Go写的,本地一键跑Kimi-K2.6、GLM-5.2、MiniMax、DeepSeek、Qwen、Gemma这些开源模型,基本是拿来就用。它的核心价值就一句话——把本地部署大模型的门槛打到最低。什么CUDA版本冲突、Python环境折腾,全给你省了。一条命令拉模型,再一条命令开跑。

HuggingFace的Transformers就不用多介绍了吧,16.4万Star,Python写的,几乎是整个开源大模型的地基。文本、视觉、音频、多模态,训练和推理全覆盖。你叫得出名字的开源模型,底层依赖基本都绕不开它。

这两个放一起看挺有意思。Ollama解决的是"怎么用"——让普通开发者甚至非技术用户能在地上跑起大模型。Transformers解决的是"怎么定义"——给模型一套统一、可复用的抽象框架。一个朝终端,一个朝底层,中间夹着的就是整个开源大模型的繁荣层。

我特意瞄了一眼Ollama支持的话题标签,deepseek、gemma、glm、qwen、minimax这些国产和开源模型占了挺多位置。这说明啥?开源模型迭代快得工具方只能屁颠屁颠追。每隔几周蹦出一个新模型,Ollama这种工具的价值就在于——把你桌面上的模型碎渣统一收进一个抽屉里。

History LLMs:只吃1913年前文本的"考古AI"

Hacker News上最近有个帖子炸了——897分,421条评论。标题叫"History LLMs: Models trained exclusively on pre-1913 texts",翻译过来就是:只用1913年以前的文本训练的大模型。

刚看到这个项目我愣了几秒。1913年?咋这么精准?后来想了想,大概明白了——1913年以前,版权基本过期了。公共领域文本量巨大,古典文学、早期科学论文、哲学著作、历史档案,随便扒拉都有得训。没有版权风险不说,语言风格和知识体系跟现代文本完全是两码事。

这项目的价值在哪儿?我琢磨出三层:

  • 第一,训练集干净。没有现代互联网的垃圾信息污染,没有SEO农场的内容农场,没有社交媒体的碎片化表达。模型学到的语言模式,更接近"严肃写作"——这年头,光这一点就够稀罕了。
  • 第二,历史研究、古典文学分析、古文本处理这类垂直场景,通用大模型往往表现一般。原因很简单:训练语料里现代内容太多,历史文本被冲淡了。专门训的模型,可能反而更懂"老东西"。
  • 第三,它捅了个问题:凭啥大模型就得什么都懂?要是让一个模型只盯着一个时间段的知识,它在那个时间段的表现能不能反超通用模型?这其实是冲"越大越全就越好"的主流叙事打的一记冷拳。

421条评论,讨论方向估计发散得够呛。有人质疑实用性,有人聊训练数据的选择标准,也有人嗅到更深的意味——通用大模型卷上天花板之后,垂直化、时代化、领域化没准才是突破口。

Countless.dev:模型多到选不过来,那就做个比价网站

同样是Hacker News上的热门帖子,Countless.dev拿了361分、76条评论。功能一句话说清:一个对比所有AI模型的网站,覆盖LLM、TTS(文本转语音)、STT(语音转文本)三大类。

为啥火?因为选择实在太多。你随便数数现在能用的LLM:OpenAI的GPT系列、Anthropic的Claude系列、Google的Gemini系列、Meta的Llama系列、Mistral各种版本、DeepSeek、Qwen、GLM、Kimi……再加TTS和STT那堆,普通开发者直接懵圈。

Countless.dev干的事说白了就是信息中介。它不造模型,只帮你做决定。参数量、价格、上下文长度、推理速度、支持语言、API调用方式——这些维度往那儿一摆,哪个模型适合你的场景,一目了然。

这让我想到电商早期比价网站刚冒出来的那阵子。东西一多,就得有人帮你整理。AI模型现在也走到这一步了。说句大白话:一个市场需要比价工具的时候,说明这市场已经挤得不行了。

模型数量爆炸式增长带来的不是选择自由,而是选择焦虑。任何能降低决策成本的工具,在这个阶段都有生存空间。

LLM生态正在走向分化,这是好事

把上面四个项目串起来看,分化那条线其实挺清楚。

基础设施层,Ollama和Transformers各占一摊。一个管部署省不省事,一个管模型定义标不标准。这俩项目Star数加起来超过34万,社区对"底层工具"的需求还是旺得很。只要新模型还在不断往外冒,这类工具的价值就不会缩水。

垂直应用层,History LLMs开了条新道——不追求通用,追求专精。只用1913年前的文本训练,听起来有点极端,但它至少验证了一个假设:特定领域的模型,在特定领域里可以更强。我猜接下来会看到更多类似的尝试,比如只用法务文本训的模型、只用医学文献训的模型、只用代码训的模型。通才和专才,会长期共存——这年头谁还没点分工焦虑呢。

信息中介层,Countless.dev这种工具只会越来越多。模型多了需要导航,参数复杂了需要对比。这条路走下去,搞不好能催生出一批"AI模型推荐引擎"——你丢一句需求,它给你配最合适的模型。

我的判断是:2024年下半年到2025年,LLM生态的分化只会更狠。通用大模型之间的竞争会越来越像军备竞赛,参数越堆越高,上下文越拉越长,但边际收益会越来越薄。真正有活力的创新,反而会发生在边缘——在那些不追"最大最强"、只追"某个场景最顺手"的项目里。

Ollama让本地跑模型变简单,Transformers让定义模型变规范,History LLMs证明了垂直化可行,Countless.dev解决了信息过载。四个项目,四个方向,但指向同一件事:大模型的野蛮生长期快过去了,精耕细作的阶段刚开始。