晋升业内新宠儿，MoE模型给了AI行业两条关键出路
文 | 智能相对论
作者 | 陈泊丞
今年以来，MoE模型成了AI行业的新宠儿。
一方面，越来越多的厂商在自家的闭源模型上采用了MoE架构。在海外，OpenAI的GPT-4、谷歌的Gemini、Mistral AI的Mistral、xAI的Grok-1等主流大模型都采用了MoE架构。
而在国内，昆仑万维推出的天工3.0、浪潮信息发布的源2.0-M32、通义千问团队发布的Qwen1.5-MoE-A2.7B、MiniMax全量发布的abab6、幻方量化旗下的DeepSeek发布的DeepSeek-MoE 16B等等也都属于MoE模型。
另一方面，在MoE模型被广泛应用的同时，也有部分厂商争先开源了自家的MoE模型。前不久，昆仑万维宣布开源2千亿参数的Skywork-MoE。而在此之前，浪潮信息的源2.0-M32、DeepSeek的DeepSeek-MoE 16B等，也都纷纷开源。
为什么MoE模型如此火爆，备受各大厂商的青睐？在开源的背后，MoE模型又是以什么样的优势使各大主流厂商成为其拥趸，试图作为改变AI行业的利器？
MoE模型火爆的背后：全新的AI解题思路
客观来说，MoE模型的具体工作原理更接近中国的一句古语“术业有专攻”，通过把任务分门别类，然后分给多个特定的“专家”进行解决。
它的工作流程大致如此，首先数据会被分割为多个区块（token），然后通过门控网络技术（Gating Network）再把每组数据分配到特定的专家模型（Experts）进行处理，也就是让专业的人处理专业的事，最终汇总所有专家的处理结果，根据关联性加权输出答案。
当然，这只是一个大致的思路，关于门控网络的位置、模型、专家数量、以及MoE与Transformer架构的具体结合方案，各家方案都不尽相同，也逐渐成为各家竞争的方向——谁的算法更优，便能在这个流程上拉开MoE模型之间的差距。
像浪潮信息就提出了基于注意力机制的门控网络（Attention Router），这种算法结构的亮点在于可以通过局部过滤增强的注意力机制（LFA, Localized Filtering-based Attention），率先学习相邻词之间的关联性，然后再计算全局关联性的方法，能够更好地学习到自然语言的局部和全局的语言特征，对于自然语言的关联语义理解更准确，从而更好地匹配专家模型，保证了专家之间协同处理数据的水平，促使模型精度得以提升。
基于注意力机制的门控网络（Attention Router）
抛开目前各家厂商在算法结构上的创新与优化不谈，MoE模型这种工作思路本身所带来的性能提升就非常显著——通过细粒度的数据分割和专家匹配，从而实现了更高的专家专业化和知识覆盖。
这使得MoE模型在处理处理复杂任务时能够更准确地捕捉和利用相关知识，提高了模型的性能和适用范围。因此，「智能相对论」尝试了去体验天工3.0加持的AI搜索，就发现对于用户较为笼统的问题，AI居然可以快速的完成拆解，并给出多个项目参数的详细对比，属实是强大。
天工AI搜索提问“对比一下小米su7和特斯拉model3”所得出的结果
由此我们可以看到，AI在对比两款车型的过程中，巧妙地将这一问题拆解成了续航里程、动力性能、外观设计、内饰设计、智能化与自动驾驶、市场表现与用户口碑、价格等多个项目，分别处理得出较为完整且专业的答案。
这便是“术业有专攻”的优势——MoE模型之所以受到越来越多厂商的关注，首要的关键就在于其所带来的全新解决问题的思路促使模型的性能得到了较为显著的提高。特别是伴随着行业复杂问题的涌现，这一优势将使得MoE模型得到更广泛的应用。
各大厂商争先开源MoE模型：解决AI算力荒的另一条路径
开源的意义在于让MoE模型更好的普及。那么，对于市场而言，为什么要选择MoE模型？
抛开性能来说，MoE模型更突出的一点优势则在于算力效率的提升。
DeepSeek-MoE 16B在保持与7B参数规模模型相当的性能的同时，只需要大约40%的计算量。而37亿参数的源2.0-M32在取得与700亿参数LLaMA3相当性能水平的同时，所消耗的算力也仅为LLaMA3的1/19。
也就意味着，同样的智能水平，MoE模型可以用更少的计算量和内存需求来实现。这得益于MoE模型在应用中并非要完全激活所有专家网络，而只需要激活部分专家网络就可以解决相关问题，很好避免了过去“杀鸡用牛刀”的尴尬局面。
举个例子，尽管DeepSeek-MoE 16B的总参数量为16.4B，但每次推理只激活约2.8B的参数。与此同时，它的部署成本较低，可以在单卡40G GPU上进行部署，这使得它在实际应用中更加轻量化、灵活且经济。
在当前算力资源越来越紧张的“算力荒”局面下，MoE模型的出现和应用可以说为行业提供了一个较为现实且理想的解决方案。
更值得一提的是，MoE模型还可以轻松扩展到成百上千个专家，使得模型容量极大增加，同时也允许在大型分布式系统上进行并行计算。由于各个专家只负责一部分数据处理，因此在保持模型性能的同时，又能显著降低了单个节点的内存和计算需求。
如此一来，AI能力的普惠便有了非常可行的路径。这样的特性再加上厂商开源，将促使更多中小企业不需要重复投入大模型研发以及花费过多算力资源的情况下便能接入AI大模型，获取相关的AI能力，促进技术普及和行业创新。
当然，在这个过程中，MoE模型厂商们在为市场提供开源技术的同时，也有机会吸引更多企业转化成为付费用户，进而走通商业化路径。毕竟，MoE模型的优势摆在眼前，接下来或许将有更多的企业斗都会尝试新的架构来拓展AI能力，越早开源越能吸引更多市场主体接触并参与其中。
但是，开源最关键的优势还是在于MoE模型对当前算力问题的解决。或许，随着MoE模型被越来越多的企业所接受并应用，行业在获得相应AI能力的同时也不必困顿于算力资源紧张的问题了。
写在最后
MoE大模型作为当前人工智能领域的技术热点，其独特的架构和卓越的性能为人工智能的发展带来了新的机遇。不管是应用还是开源，随着技术的不断进步和应用场景的不断拓展，MoE大模型有望在更多领域发挥巨大的潜力。
MoE模型的本质在于为AI行业的发展提供了两条思路，一是解决应用上的性能问题，让AI有了更强大的解题思路。二是解决算力上的欠缺问题，让AI有了更全面的发展空间。由此来看MoE模型能成为行业各大厂商的宠儿，也是水到渠成的事情。
*本文图片均来源于网络
原文标题 : 晋升业内新宠儿，MoE模型给了AI行业两条关键出路
（来源：维科网）
相关推荐
-
保利物业携手海康威视 以AI大模型打造智慧小区管理新模式
传统小区管理长期依赖人工巡检、被动响应的运营模式，园区安防排查、设备运维、业主服务等各项工作，高度依靠人力值守跟进。人工巡查存在覆盖盲区、排查效率有限等痛点，不仅增加运维压力，也难以全方位保障社区居住
-
AI时代，独立思考和原创知识更有力量
人工智能时代，跨界人才怎么培养？知识还是不是力量？9月19日，《知识就是力量》创刊70周年活动圆桌对话现场，主持人抛出了这些直接的问题。对此，植物病理学藻类学家、中国科学院院士赵进东，化学工程专家、中
-
阿里巴巴，最新AI芯片亮相
维科网9月22日消息，9月22日上午，杭州国际博览中心，2026云栖大会上，阿里巴巴CEO吴泳铭上台，抛出了一个机器智能的新说法。他把AI模型、AI芯片、AI云说成机器智能时代的三大基石，表态阿里会坚
-
AI系统可快速精准匹配X光与三维扫描图像
手术中的二维X光图像与术前三维CT或磁共振成像（MRI）如何快速“对上”？美国麻省理工学院等机构科学家开发的人工智能（AI）系统“xvr”给出了新方案。该系统可针对患者进行个性化适配，在数秒内将术中X
-
AI为珍稀鸟儿“上户口”
初秋的南京绿水湾国家城市湿地公园万木葱茏，植被茂密的林间，一台AI声纹监测设备挂在树上，静静“聆听”树林的“密语”。“这台设备集成了高灵敏度音频采集与抗干扰处理技术，能在复杂野外环境中自动剔除风雨声、
-
我国首款藏语多语言全模态AI输入法发布
9月20日，在青海师范大学教师教育高质量发展暨建校70周年大会科研成果展示环节，我国首款藏语多语言全模态AI输入法——智达AI输入法及配套藏文字体集正式发布。据悉，近年来，青海师范大学藏语智能全国重点
-
约五分之一英国成年人使用AI获取新闻
英国通信管理局9月15日发布的一项调查显示，约五分之一的英国成年人过去一个月曾使用人工智能（AI）应用或服务获取新闻，其中ChatGPT是使用最广泛的相关AI工具。英国通信管理局当天发布的《2026年
-
AI系统可让3D打印实现同步质检
美国劳伦斯利弗莫尔国家实验室研究人员开发出一种利用摄像头和人工智能（AI）检测3D打印质量的系统，在打印过程中，3D打印机可逐层“检查”自己制造的零部件，并及时发现断丝、尺寸异常等细微缺陷。研究人员表
-
北京算力公司，签下17亿元大单
9月16日晚间，康惠股份披露了一份公告，全资子公司北京康惠智创跟客户A公司签下《算力服务合同》，总金额约17.20亿元，期限五年。此外，还公告第二份合同，即北京康惠智创向供应商G公司采购高性能算力服务
-
AI介入科研不能没有规则
近日，因AI公司宣布其模型解决了一个数学界经典难题，陶哲轩、邓煜等25位菲尔茨奖获得者随后联名发布公开信提出警示，引发舆论哗然，热度绵延至今。人工智能驱动的科学研究已势不可挡，科学家该如何与AI做好配
