前言：
近年来，大语言模型领域取得了显著的发展，随之而来的是对算力资源需求的急剧增加。
然而，在当前的市场环境下，如英伟达A100等高端GPU的供应紧张，成为了行业面临的一大挑战。
尽管如此，这一困境也为众多国产算力厂商带来了寻找新型替代方案的机遇，促使他们积极寻求创新突破。
作者 | 方文三
图片来源 | 网 络
AI大模型的主战场，万卡已是标配
去年5月，Google正式推出的A3 Virtual Machines超级计算机，配备了高达26,000块Nvidia H100 GPU，并辅以自研芯片构建的TPUv5p 8960卡集群。
至今年3月，Meta公开分享了其最新的两个AI训练集群，两者均集成了24,576个Nvidia Tensor Core H100 GPU，相较于前一代的16,000块，有了显著的增长。
OpenAI所开发的ChatGPT-4则包含16个专家模型，共计1.8万亿参数，其单次训练过程需要在约25,000个A100上持续90至100天。
大模型行业的发展日新月异，客户对于训练速度有着极高的期待，普遍希望能在两周内完成训练，最晚也应在一个月内完成。
以训练一个5000亿参数模型，涉及15TB数据为例，若仅拥有1000P算力，该过程将需要长达三年。
而若将时间限定在两周或一个月内，则至少需要10000P的算力作为保障。
在国际市场上，GPT-4这一拥有1.8万亿参数的庞大模型，其训练过程需消耗25000张A100 GPU并持续100天。
若以H100为基准，这一需求将缩减至1000张。
今年，Meta推出了两个配备24576张H100的集群，以支持Llama 3等新模型的训练。
本周，马斯克透露，新版Grok 3的训练过程使用了高达10万张H100 GPU。
回顾去年，华为昇腾AI集群的规模已扩展至16000卡；随后，科大讯飞在10月宣布启动万卡集群算力平台[飞星一号]。
今年3月，天翼云在上海临港启用了国产万卡算力池；4月，中国移动宣布今年将商用3个自主可控的万卡集群。
各大云计算厂商纷纷加大投入，将大模型训练集群的规模推向了10万卡量级。
综上所述，超万卡集群已成为大模型预训练的标配，对于基础设施厂商而言，是否拥有万卡集群将成为其在AI领域竞争中取得成功的关键要素。
首个纯国产GPU的万卡集群来了
在2024世界人工智能大会即将召开之际，摩尔线程于7月3日宣布，其夸娥（KUAE）智算集群解决方案已实现显著的技术跃升，由原先的千卡规模显著扩展至万卡级别，以支持大规模模型的运算需求。
这一升级旨在为大模型，特别是达到万亿参数级别的模型训练，提供持久、高效、稳定及广泛适用的通用算力支撑。
值得强调的是，摩尔线程作为国内首家接入无问芯穹并进行大模型训练的国产GPU公司，其夸娥智算集群已成为业内首个成功运行并完整支撑国产大模型的集群系统。
目前，包括智谱 AI、智源研究院、北大兔展、滴普科技、师者AI、羽人科技、乐创能源、瑞莱智慧、实在智能、积沙成塔、憨猴集团、亿景智联等在内的多家国内大模型企业，均已成功部署并运行于摩尔线程的夸娥智算集群之上。
夸娥万卡智算集群的三大核心优势在于其卓越的计算效率、高度稳定性和出色的生态兼容性。
该集群采用自研全功能GPU，通过计算加速卡、服务器、超融合一体机等组件的灵活组合，形成了高效能的小集群，进而构建出大集群，其线性加速比超过91%，满足了客户根据自身建设规划进行扩容的需求。
此外，摩尔线程还高度重视软件层面的优化与管理。为了确保万卡集群的高效管理、调试和使用，公司推出了一系列全栈AI软件，包括加速引擎和便捷的管理平台，并支持用户进行7×24小时的远程监控。
除了自研全功能GPU外，摩尔线程还与国内CPU、操作系统厂商紧密合作，共同打造了基于中国自主创新技术的PES完美体验系统联盟。
好用=规模够大+计算通用+生态兼容
这正是最新夸娥（KUAE）万卡集群所具备的五大显著特点。
①夸娥万卡集群展现了万卡万P的超大算力。具体而言，经过升级后，该集群已达到单集群规模超万卡，浮点运算能力高达10Exa-Flops。
②在GPU显存和传输带宽方面，显存容量提升至PB级，卡间互联总带宽和节点互联总带宽同样达到PB级，实现了算力、显存和带宽的系统性协同优化，从而全面提升了集群计算性能。
③有效计算效率（MFU）是夸娥万卡集群的另一大优势。
MFU作为评估大型模型训练效率的关键指标，直观反映了整个集群的训练效率。
夸娥万卡集群通过系统软件、框架和算法等多个层面的深入优化，成功实现了对大型模型的高效训练，MFU值最高可达60%。
在系统软件层面，采用计算与通信效率的极致优化技术，显著提升了集群的执行效率和性能；
在框架和算法层面，该集群支持多种自适应的混合并行策略和高效的显存优化技术，可根据具体需求自动选择并配置最佳并行策略，从而显著提升训练效率和显存利用率。
④夸娥万卡集群在处理超长序列的大型模型时，通过CP并行技术和环形注意力机制等优化手段，有效减少了计算时间和显存使用，进一步提升了集群的训练效率。
⑤夸娥万卡集群在通用性和生态友好性方面表现出色。
该集群专为通用计算场景量身定制，能够为LLM、MoE、多模态和Mamba等多种架构和模态的大型模型提供加速支持。
同时，采用高效且用户友好的MUSA编程语言，并完全兼容CUDA，配合自动化迁移工具Musify，实现新模型的即时[Day0]级迁移，确保了生态系统的即时适配性。
[集群]弥补[单卡]是解决算力荒的路径
随着大模型训练与推理需求呈几何级数爆发，再加上GPU供应存在干扰，算力芯片的供求缺口相当巨大。
[N卡难求]现象已催生抢购与囤货热潮，同时市场上鲜有与国际巨头单卡性能直接对标的产品。
目前，我国智能算力市场面临严重的供需失衡，大模型对算力的需求增长已显著超越单颗AI芯片性能的提升速度。
因此，通过集群互联来弥补单卡性能不足，成为当前亟待探索并解决AI算力匮乏问题的关键途径。
鉴于多重因素的叠加影响，以及国产大模型对构建AI产业商业闭环的迫切需求，构建具有自主创新和本土化特色的集群已刻不容缓。
未来，国内智算中心在搭建集群时将面临两大选择。
①采用国内外芯片[混搭]的集群模式，这对系统优化提出了高要求，[最短的木板]可能制约整体算力效率的充分发挥，预计需要长时间的优化与磨合才能找到最佳路径；
②采用国产化的集群模式，在保障[能用]的基础上，不断追求[好用]，以实际成果推动自主创新的深入发展。
过去一年，我国千P级智算中心的智算基建布局已呈爆发式增长。
当前，国内万卡智算中心尚处于发展初期，面临诸多挑战。
因此，国产AI算力的发展机遇主要在于千卡以上的集群及其背后的软件生态。
万卡集群建设还面临五重挑战
目前，超万卡集群的建设尚处于初始阶段，其核心构建主要依托于英伟达GPU及其相关配套设施。
作为全球GPU市场的佼佼者，英伟达的产品在大规模模型训练领域展现出了显著的优势。
在政策和市场需求的双重推动下，国产AI芯片在近两年来取得了显著的进步。
然而，从整体性能和生态系统构建的角度来看，国产芯片仍存在一定的差距。
因此，在构建基于国产技术生态、具备技术领先地位的超万卡集群方面，我们仍面临诸多挑战与困难。
①极致算力挑战：集群规模提升不等于算力线性提升，关键在于互联网络和软硬件适配调优。需运用系统工程方法，精细化设计网络和软硬件整合优化。
②海量数据处理挑战：未来模型训练对数据处理性能有极高要求，需通过协议融合、自动分级等技术手段提升数据共享和处理能力。
③超大规模互联挑战：模型规模扩大要求高性能互联网络支持大模型的数据吞吐和计算需求。
④高稳定性与高效率挑战：大模型训练中稳定性和效率至关重要，需优化以缩短故障恢复时间，确保稳定高效训练。
国产软件生态挑战：国内已有多家公司推出国产AI芯片，但软件生态不佳，需加强关键软件的研发和完善，提高生态繁荣度。
结尾：
随着从千卡集群到万卡集群的演进，以及从[模型]竞争转向[应用]竞争的趋势，业界对高效、可持续的算力需求日益迫切，以满足多样化的新计算任务。
在这些新需求的驱动下，新型万卡智算中心，即芯片系统的组合体，已成为推动大模型产业落地的关键力量，并已成为大国间AI竞争的基础设施标配。
部分资料参考：量子位：《首个国产全功能GPU的万卡集群来了》，通信产业网：《万卡集群：从"打群架"到"群体突破"还有多远？》，半导体产业纵横：《摩尔线程CEO张建中：万卡集群是AI主战场上的标配》，AI云原生智能算力架构：《智能算力中心万卡GPU集群架构深度分析 2024》，钛媒体国际智库：《砸钱建设万卡集群，中国企业在追赶》
原文标题 : AI芯天下丨深度丨首个纯国产GPU的万卡集群亮相，试图群体突破
（来源：维科网）
相关推荐
-
江苏万亿AI产业链, GPU终于落子
国产GPU这两年不缺声量。融资、流片、发布会、跑分对比，隔一段时间就有新消息。 但在江苏，这个热闹的赛道此前一直缺一块拼图。 江苏的半导体家底并不薄：南京汇聚了全球半导体晶圆制造、服务器及EDA龙头，
-
账面亏损背后, 国产GPU走到哪一步了？
导语：国产GPU的追赶和超越。 自去年底国产GPU公司扎堆上市后，很多人就很关注国产GPU到底有多能打？近日，寒武纪、摩尔线程等国产GPU头部公司陆续发布2026年上半年财报，更多公司细节公开，值得仔
-
GPU之外，清微智能押注一条硬路
2018年清微智能正式成立，2019年便实现国内可重构芯片先行量产。此后几年，大模型爆发，算力需求陡增，先进制程、HBM、高速互联和软件生态成为竞争焦点。但到了今天，单靠“堆参数”的增长公式，已经很难
-
挑战HBM，国产GPGPU杀出奇兵
新紫光集团最近动作频频。5月创新峰会上，新紫光集团一口气亮出六大前沿成果，覆盖IC、ICT、AI三大领域，从芯片到应用形成全链条布局。 在这张宏大的战略棋局中，有一家主体格外引人关注——新紫光前沿技术
-
英伟达 Vera Rubin 中使用LPU的目的是什么？
芝能智芯出品 从2025年价值200亿美元的震撼收购，到2026年GTC大会上黄仁勋揭晓谜底，英伟达正通过将 Groq 的 LPU（语言处理器单元）整合进其最新的 Vera Rubin 平台，设计完全
-
GPU进基站，AI
过去一年，如果你关注通信行业的新闻，大概很难躲过“AI-RAN”这个词。英伟达和软银牵头成立的AI-RAN联盟，T-Mobile西雅图的实验室测试，Indosat在印尼完成的AI通话演示——一连串的动
-
算力竞速（上）：GPU如何蜕变为AI时代的新石油
文|钱眼君 来源|博望财经 岁末年初，中国资本市场的聚光灯前所未有地聚焦于黄浦江畔。一场声势浩大的“GPU旋风”正席卷而来：在不到一个月的时间里，沐曦股份、壁仞科技、天数智芯三家扎根上海的GPU企业密
-
中国GPU云，正在走向全栈竞争
中国自研GPU云正在换挡。 文｜赵艳秋 周享玥 编｜牛慧 1月4日，国际咨询机构沙利文发布《2025 年中国 GPU 云市场研究报告》。报告显示，在中国自研GPU云市场中，百度智能云以40.4%的市场
-
H200对华放行+CPU/GPU涨价半导体市场迎重磅变局
半导体市场的12月，注定不平静。 一边是AMD、英伟达相继打响CPU、GPU涨价潮，消费级市场装机成本持续攀升；另一边是地缘政策传来重磅消息——当地时间12月8日，特朗普宣布允许英伟达向中国出口H20
-
AI芯天下丨深度丨OpenAI完成重组计划，将影响AI产业与竞争关系
前言： 当估值5000亿美元的OpenAI在近日正式官宣完成资本重组时，整个AI行业都屏住了呼吸。 这家曾以[确保AGI造福全人类]为使命的非营利机构，最终蜕变为以营利为导向的[公共利益公司（PBC）
