形状、对称性与结构：数学在机器学习研究中角色的演变

数学在现代机器学习中的角色变迁

过去十年，机器学习领域的进步范式发生根本性转变：依赖精心设计、具备严格数学原理（如群论对称性、微分几何结构、变分原理）的模型架构，所带来的性能提升日趋边际；而以算力密集型训练、数据规模扩展和系统工程优化为先导的方法（如Scaling Laws驱动的LLM训练、分布式训练栈调优），持续推动SOTA突破。

• 这一转变不意味着数学退场，而是其功能重构：从指导网络结构设计（如CNN之于平移不变性、GNN之于图同构性、Transformer之于位置编码的群表示）转向为模型行为提供可解释性边界（如泛化误差上界分析）、约束建模偏差（如物理信息神经网络PINN中的PDE正则项）、以及识别本质结构瓶颈（如attention复杂度与序列长度的二次关系）。
• 当前前沿正出现数学与工程的再耦合趋势：Llama-3、Gemini 2.0等模型在架构层面重新引入显式结构归纳偏置（如旋转嵌入RoPE的SO(2)对称性建模）；arXiv论文《Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges》系统梳理了微分几何与群表示论对ML建模的深层影响；Hugging Face生态中，mathematical-constraints库支持在PyTorch训练中注入李群不变性损失。
• 关键挑战在于：如何将抽象数学结构（如纤维丛、范畴论）转化为可微、可扩展、可验证的模块化组件，而非仅作为后验分析工具。