《Modular Manifolds》
神经网络权重正则化的下一步：将权重矩阵限制在流形上，重塑优化算法。
• 大型网络训练中，权重矩阵爆炸或消失影响训练稳定性和速度，传统做法偏重激活和梯度归一化，权重归一化尚未普及。
• 将权重约束到特定流形（如Stiefel流形：所有奇异值为1的矩阵空间），可保持权重条件数恒定，减少权重范数爆炸，提升训练可预测性与鲁棒性。
• 基于谱范数的约束设计“manifold Muon”优化器，结合流形几何和凸优化，以对偶梯度上升法求解，保证权重更新既在切空间内，又符合流形约束。
• 优化步骤包括：计算梯度投影到切空间，按谱范数限制更新幅度，权重更新后通过矩阵符号函数（msign）投影回流形，确保权重始终保持良好结构。
• 该方法可扩展为“模块化流形”理论，定义神经网络各层的流形约束与范数，自动调节层间学习率，实现多层级训练的稳定性和灵活性。
• 实验验证，在CIFAR-10上训练小型MLP，manifold Muon优于AdamW，训练收敛更快，权重奇异值集中于1，保证了权重良态。
• 未来方向包括混合流形约束、数值稳定性、加速凸优化求解、收敛性理论、正则化设计、架构与优化器协同设计，以及非黎曼流形的潜力探索。
三点启发：
1. 权重结构约束比单纯归一化更深层次地防止训练失衡，提升优化稳定性。
2. 结合几何视角的优化设计可实现对网络灵敏度的精细控制，从而增强模型鲁棒性和泛化能力。
3. 模块化流形视角为大规模网络训练提供了统一的学习率预算与权重管理框架，有望推动自动化训练算法的发展。
了解详情🔗 thinkingmachines.ai/blog/modular-manifolds/
深度学习 神经网络优化 流形优化 谱范数 机器学习理论
