浪潮信息发布"元脑SD200"超节点,面向万亿参数大模型创新设计
北京2025年8月8日 /美通社/ -- 8月7日,浪潮浪潮信息发布面向万亿参数大模型的信息向万超节点AI服务器"元脑SD200"。该产品基于浪潮信息创新研发的发布多主机低延迟内存语义通信架构,以开放系统设计向上扩展支持64路本土GPU芯片。元脑亿参元脑SD200可实现单机内运行超万亿参数大模型,超节创新并支持多个领先大模型机内同时运行及多智能体实时协作与按需调用,点面目前已率先实现商用。数大设计在实际评测中,模型元脑SD200运行DeepSeek R1和Kimi K2等全参模型的浪潮64卡整机推理性能实现超线性扩展。
当前,混合专家模型(MoE)的发布高效架构正在驱动大模型参数规模持续扩展,国内外前沿大模型的元脑亿参参数量快速突破万亿规模,这给算力系统架构提出新的超节创新挑战。一方面,点面模型参数量增加和序列长度增加带来的数大设计键值缓存(KV cache)激增,需要智能计算系统具有超大显存空间承载,依靠单芯片或节点的性能提升已难以为继;且其推理过程作为通信敏感型计算,对分布式计算通信延时要求极高,需要构建更大向上扩展(Scale up)高速互连域。另一方面,智能体AI开启多模型协作的新范式,其推理过程需要生成比传统模型多近百倍的数据词元(token),导致计算量激增。
元脑SD200超节点AI服务器是浪潮信息面向万亿参数大模型AI时代而设计,创新研发多主机低延迟内存语义通信架构,基于开放总线交换技术构建,在单机内实现了64路GPU芯片的高速统一互连,成功解决万亿大模型对超大显存空间和超低通信延时的核心需求。在开放架构之上,元脑SD200通过智能总线管理和开放的预填充-解码(Prefill-Decoder)分离推理框架实现软硬件深度协同,智能化管理复杂AI计算任务。
- 在架构层面,元脑SD200基于自主研发的开放总线交换技术首创多主机三维网格系统架构,实现64路本土GPU芯片高速互连;通过创新远端GPU虚拟映射技术,突破多主机交换域统一编址难题,实现显存统一地址空间扩增8倍,单机可以提供最大4TB显存和64TB内存,为万亿参数、超长序列大模型提供充足键值缓存空间。同时,依托百纳秒级超低延迟链路,构建64卡大高速互连域统一原生内存语义通信,实测结果表明,在推理过程常见的小数据包通信场景中,全规约(All Reduce)性能表现优异,显著提升计算与通信效率。
- 在系统层面,根据万亿参数大模型计算、通信需求特征,浪潮信息开发智能总线管理系统,实现超节点64卡全局最优路由的自动创建,支持不同拓扑切换,资源按需切分。对于全规约、全聚集(All Gather)等典型通信算子,开展不同数据量大小的细粒度通信策略设计,如多层级通信机制等,实现通信延时进一步降低。同时依托开放的PD分离框架,支持异步KV Cache高效传输与差异化并行策略,在提升业务服务级别目标的同时保持对多元算力的兼容性,实现计算与通信架构的深度协同优化。
元脑SD200超节点AI服务器通过软硬协同系统创新,成功向上扩展突破芯片性能边界,在大模型场景中展示出优异的性能表现。结合优化的PD分离框架,SD200超节点满机运行DeepSeek R1全参模型推理性能超线性提升比为3.7倍,满机运行Kimi K2全参模型推理性能超线性提升比为1.7倍。
当前,开源模型的飞跃式进步正在加速智能时代的到来,推动研发范式从封闭走向开放协作。同时,随着大模型参数量的持续提升,对算力基础设施的建设提出了更高要求。浪潮信息通过开放系统架构创新,为开源大模型的规模化落地和应用创新提供关键支撑。
(责任编辑:娱乐)
-
来源:央广网[德雷克海峡地震修正为7.5级]美国地质调查局消息,德雷克海峡地震修正为7.5级。 此前,据美国地质调查局地震信息网消息,德雷克海峡发生8.0级地震。另据CCTV国际时讯消息:更新:当地时 ...[详细]
-
累计无偿献血9600毫升、我市第7例造血干细胞捐献者、长期从事公益事业……他就是铜官区友好社区居民、2022年度见义勇为类“铜陵好人”宋杰。去年8月29日上午,宋杰在安徽省立医院完成造血干细胞捐献,共 ...[详细]
-
昨日,有市民反映,方庄东路部分早点摊将使用后的一次性筷子翻新成新的筷子使用。记者调查中发现,摊贩们在附近市场购买一次性筷子专用筷套,再将一次性筷子经简单清洗、晾干后套上筷套,就成了新的一次性筷子。摊主 ...[详细]
-
中学语文课题研究开题报告范文在当下社会,大家逐渐认识到报告的重要性,报告中提到的所有信息应该是准确无误的。为了让您不再为写报告头疼,下面是小编整理的中学语文课题研究开题报告范文,欢迎阅读,希望大家能够 ...[详细]
-
中新社太原8月21日电 (记者 杨杰英)“霍尼韦尔对中国市场充满信心,将继续加大在中国的投资。”霍尼韦尔中国总裁余锋21日在山西太原表示,期待深化与中国广大企业的合作关系。当日,第四届中国国际供应链促 ...[详细]
-
初三真的就像一场精彩绝伦的演绎,我们也终是这场演绎的主角,使得这场演绎更加的美轮美奂。我的初三文采飞扬泼墨书香,文采飞扬。这用来形容我们的青春是再合适不过的了。曾几何时,我已不再是那自由自在,无忧无虑 ...[详细]
-
新浪科技讯 8月14日晚间消息,在今日的吉利汽车2025年中期业绩发布会上,吉利汽车控股有限公司行政总裁及执行董事桂生悦分享了吉利汽车上半年取得的成绩和不足。成绩方面,上半年公司实现营业收入1503亿 ...[详细]
-
2021山东省马术联赛暨青岛马协青少年马术邀请赛7月14日举办
青马网讯 7月14日,2021山东省马术联赛暨青岛马协青少年马术邀请赛将在山东省青岛市田横岛省级旅游度假区——青岛宝湖马术小镇举办。赛事由山东省马术协会主办,青岛市马术协会、中马联盟青岛)文旅产业发展 ...[详细]
-
“爱心妈咪小屋”凝聚大爱 上海市总工会呼吁共同推动创建家庭友好型工作场所
为保障职场妈妈母乳喂养权益,上海市总工会于2013年推出“爱心妈咪小屋”项目,历经10年,已成为上海工会推进职场性别平等、落实积极生育支持措施,提高女职工生活品质的品牌。图说:上海市总工会女工委向全市 ...[详细]
-
江苏省青少年马术锦标赛:刘奕萱和泰州市分获50CM级别个人与团体冠军
7月3日,首届江苏省青少年马术锦标赛继续在江苏海澜飞马水城展开第二个比赛日的争夺。50CM级别双边贴时赛拉开场地障碍赛参赛的序幕,97对人马组合参加本场比赛。根据规则,罚分少者获胜,在罚分相同的情况下 ...[详细]