M3在2026年6月1日凌晨正式发布。

它在编码和Agent任务上接近前沿先进水平。

搭载团队自研的全新注意力架构：

MSA（MiniMax Sparse Attention），

支持高达1M Tokens的超长上下文，

同时是，

一个从第零步就做混合模态训练的，

原生多模态模型。

这三项能力如今已是闭源前沿模型的“入场券”，

带着这个背景，观察以下几点。

第一，算力约束正在改变架构选择的方式。

在算力充足的前提下，

大多数团队都会优先选择：

全注意力（Full Attention）。

它的工程体系成熟，调度路径清晰，

优化空间也已经被行业反复验证过。

换句话说，这是一个“可预期”的选择。

但当算力成为硬约束，路径就会发生变化。

团队不再是“是否优化”，而是被迫去问：

能不能换一条路。

于是线性（Linear）、稀疏（Sparse），

这类Efficient Attention方案，

才开始进入主流视野。

这背后的分化其实很现实。

一部分公司可以依靠更先进的算力平台，

继续维持Full Attention的可行性，

而另一部分被算力卡住的团队，

只能通过架构创新去换空间。

本质上，这不是技术偏好，

而是资源约束下的必然分岔。

第二，没有免费的午餐，

把Attention的复杂度降下去，

付出的代价是什么?

在实验室能打，

到生产撑不住"是LLM时代的常态，

也是所有顶尖团队都要面对的问题，

论文里所有Efficient Attention，

都讲"降复杂度"的好处，

很少有论文老实讲"代价是什么"。

行业里太多人在论文层面争论，

"Linear好，还是Full好"，

但真正的答案不在论文里，

在亿级算力跑过之后的实证里。

MiniMax用真金白银告诉所有人，

代价极高。

但这个问题在论文层面没有答案。

真正的答案只会出现在，

大规模训练之后的工程结果里。

工程决策不会是二选一，

而是多路径并行。

Linear Attention的优势是算力效率，

但代价是更高的工程复杂度，

和更严格的数值稳定要求。

要获得节省的算力，

必须先付出工程成本。

这笔账是否划算，取决于上下文长度。

在当前主流应用中，

大多数场景的上下文，

还停留在几千到几万Tokens的区间，

这个范围内，工程代价往往大于节省的算力，

因此Full Attention仍然占优。

但随着上下文长度不断增长，

情况会发生变化。

长程Agent任务上几十万Tokens的累计上下文，

在这种规模，计算复杂度成为主导因素，

Efficient Attention的优势才会真正体现出来。

降低复杂度从来不是免费收益，

而是工程代价的重新分配。

第三，强化学习后训练阶段，

是架构可靠性的试金石。

强化学习后训练阶段的大坑非常多，

简直就是当下的最难攻坚战，

很多架构问题，在Pre-training阶段并不会暴露。

但在强化学习Post-training阶段，

会被迅速放大。

原因很简单，强化学习的样本量更小，

Reward信号更稀疏，

对模型行为的稳定性要求更高。

一旦推理过程和训练分布存在偏差，

Reward很容易无法收敛。

在Pre-training阶段，

小的误差可以被海量数据平均掉，

但在强化学习阶段，

每一个误差都会被放大成系统性问题。

MiniMax曾在M1的强化学习阶段，

才暴露出Attention相关的数值问题，

这类现象并不特殊，

而是LLM工程中的常见模式。

这也带来一个更现实的判断：

一个新架构是否真正成立，

不是看它在基准库（benchmark）上的表现，

而是看它是否能完整跑通，

强化学习Post-training，

还要在这个阶段保持稳定。

第四，反复探路

官方花了大段内容讲一个点:

当下的编码能力，

很靠模型能否用真实用户逻辑来训练，

而现有编码基准距离真实用户体验还差很远。

当前对Code Agent的训练和评测玩"单轮任务"，

世界要是单轮任务就好了，可惜不是，

反复说需求、调方案太常见了，

为了这件事，

他们搭了一套“交互式用户模拟器”，

本质就是模拟一个真实开发者，

跟模型来回协作的过程，

让模型在训练和评测的时候，不是在做单步任务，

而是在反复折磨，反复蹂躏的时候，如何处理。。

这点能体现M3的领先性。

还有，CUDA Kernel优化那个例子，

不少技术小哥哥很喜欢。

M3的最佳方案出现在第145次提交，

我看到这里心里都要默念，

再这样下去，AI能力要上天了。

M3居然在长时间没有正反馈的情况下不放弃，

我的标题"反复探路"的精神，

在模型行为上也有体现，

把这个韧性归功于 MSA，

因为只有长上下文撑得住1959次工具，

调用堆起来的庞大历史，

模型才能"记得"自己试过哪些死路。

第五，语音，这是M3这次，

最耐人寻味的一个缺口。

M3官方明确写的是“原生多模态，

支持图像和视频输入，并能操作桌面电脑”，

没有语音输入。

这就奇怪了：

MiniMax自己恰恰是语音做得最强的玩家之一。

谷歌对外开放权重的模型系列，

Gemma4这一代，

所有尺寸都支持图像/视频和文本，

而小尺寸E2B、E4B额外原生支持音频。

字节Seed2.0Lite，

它在4月28日的更新里，

第一次把“音频输入”作为原生能力整合进来。

这里出现了一个反常之处：

做语音最强之一的MiniMax没把语音带上，

倒是谷歌和字节在这一代里把它原生塞进了模型，

甚至塞进了小尺寸。

一个合理的猜测是，

既然语音本就是MiniMax最不缺的能力，

先把最难啃的，

编码/Agent/长上下文/视觉做扎实，

语音作为“随时能接上的成熟模块”，

放到后续版本再融合，反而是更稳的节奏。