开源AI三连发:375B巨兽到PS4跑9B
AI大模型

开源AI三连发:375B巨兽到PS4跑9B

开源模型这周挺热闹。K2-Horizon一口气放出六款模型,有人把9B模型塞进了越狱PS4,欧洲云厂商OVH也拿出了自己的开源模型。三件事放一起看,开源模型的竞争正从参数规模扩到硬件门槛和推理效率。大模型往下压,小模型往上顶,本地AI的门槛一点点被拆掉。

K2-Horizon的模型从0.9B稠密模型一路铺到375B-A23B MoE,主攻数学、科学和软件工程的推理与智能体任务。开发者称,它在智能体和编程基准上领先或追平同规模的强开源模型。技术上用了Mixture-of-Value Attention、更灵活的注意力门控,还有Uno,不用草稿模型就能把解码速度提升最多2.2倍。训练数据、中间检查点、日志和训练评估代码也都公开了,部分模型共享22万亿token预训练语料,数据管线还产出了约10万亿合成token。

Garlic LLM走的是另一条路。它让越狱版PlayStation 4跑起90亿参数的本地大模型,最高每秒生成43个词元。全程不联网,聊天和语音对话都能完成。老主机变成AI终端,这事本身比参数更有话题性,也说明本地推理的门槛没想象中那么高。

OVH的Olala mini 7A1B盯的是低配硬件。8GB显存的GPU就能跑,RTX A4500上做到160 TPS,纯CPU平台也有50 TPS。预算有限又想本地部署的团队,这个门槛挺友好。

三件事放一起看,开源模型的竞争已经不只比参数量。训练透明度、推理速度、硬件门槛也都被拿来比。开发者的选择也多了。想要前沿能力,可以看375B MoE;想控成本,7A1B或者旧主机方案都能上。开源现在能跑、能改、能查,是一套完整的技术栈。