加载中...

梁文锋发表署名论文提出大模型训练新架构

2026-01-03 09:13:46 来源：杭州网

(资料图片)

在2025年的最后一天，当大多数人准备迎接新年时，DeepSeek团队向学术社区提交了一篇技术论文。这篇论文迅速在人工智能领域引起关注。论文的标题为《mHC：流形约束超连接》，由谢振达、魏毅轩、曹焕奇等研究人员共同完成，DeepSeek创始人梁文锋也位列作者之中。

这是继2025年3月，DeepSeek团队发布了关于“原生稀疏注意力”（NSA）的研究后，第二次在大模型训练核心架构上突破。NSA技术的核心是让AI学会像人类一样“快速阅读”。当面对一本数万字的小说或长篇报告时，AI不再需要笨拙地分析和记忆每一个词与所有其他词的关系，而是能智能地抓住重点信息，略过不重要的部分，从而极大地提升了处理长文本的效率。

相关实验数据显示，NSA技术带来了显著的效率提升。在处理长文本时，训练速度提升了6-9倍，而在实际回答问题的推理阶段，解码速度更是提高了11.6倍。除了更快，它还更“聪明”——在多项需要复杂推理的测试中，使用NSA的模型准确率比传统方法高出5%-8%。

而2025年12月31日发布的mHC与专注于让AI“读得快”的NSA不同。mHC关注的是神经网络内部信息传递的“稳定性”。过去的10年中，几乎所有AI模型都依赖于2015年微软研究院提出的残差连接设计。它如同一条信息“快车道”，但对于更深、更复杂的模型，这条车道有时会让信号过度放大，导致训练失控。

2024年9月，DeepSeek曾尝试改进这一设计，提出了“超连接”，但遇到了训练不稳定的难题。此次的mHC通过引入巧妙的数学约束——双随机矩阵，成功解决了这一问题。这好比为神经网络的“学习过程”划定了一个安全的操场，既允许它自由探索和尝试，又确保其不会失控“跑飞”，从而让更大、更复杂的模型能够被稳定地训练出来。

比如在处理一本6万字的小说时，传统AI模型会把70%的时间浪费在重复计算上，而新技术可以让它像人类一样抓住重点、跳过冗余。

NSA技术使手机等移动设备运行长文本AI应用成为可能，为医疗记录分析、整本小说理解等场景提供了技术基础。而mHC则是在不增加计算量的情况下，通过改变信息流动方式提升模型性能，同样的计算资源，更好的效果。

而这篇论文的意义还在于充分体现了DeepSeek一以贯之的技术哲学。正如科技媒体人花叔评论的那样，当你发现一个方法有效但不稳定时，不要放弃，而是去找约束条件。双随机矩阵就是这样一个约束——它保留了HC的表达能力（可学习的连接权重），同时通过数学性质保证了稳定性（加权平均不会爆炸）。在自由和约束之间找平衡，这个思路可能在很多领域都适用。

这也解释了DeepSeek为什么能做到别人做不到的事，这篇论文给出的答案是：去质疑那些“所有人都觉得没必要改”的东西。

关键词：消费导报网 24小时资讯