手游营地,热门手游攻略、新游测评、礼包兑换一站式平台
当前位置: 网站首页 资讯中心 软件资讯 正文
软件资讯

昇腾A2芯片立功!华为首次公开美团LongCat-2.0部署细节:推理仅20ms

软件资讯 来源:互联网 作者:pconline 发布时间:2026-08-04 01:57:00

快科技7月6日消息,华为CANN(昇腾AI异构计算架构)团队首次公开披露了美团万亿参数大模型LongCat-2.0在昇腾A2芯片上的完整部署方案。

LongCat-2.0,总参数量达1.6万亿,原生支持100万Token超长上下文。该模型是业界首个完全基于国产算力完成训练与推理全流程的万亿参数模型。

此次公开的部署细节显示,LongCat-2.0基于昇腾Atlas A2 192卡集群部署,单机16卡。Prefill阶段采用64张昇腾A2协同调度,Decode阶段采用128卡超大规模专家并行EP部署。

昇腾A2单卡内置高速网卡可提供200Gbps传输带宽,有效支撑大规模分布式推理。

CANN推理团队针对LongCat-2.0的MoE超稀疏专家架构与百万级长序列进行了系统级优化。

Prefill阶段融合流水线并行与序列并行双重策略,将模型划分为8个独立计算Stage,压缩MoE通信耗时10倍。

Decode阶段根据序列长度差异化切分,短请求采用DP128+EP128方案,超长序列采用DP16CP8+EP128方案,最终实现TPOT时延仅20ms。

算法层面,Prefill阶段采用FlashComm算法降低Vector算力消耗。Decode阶段利用A2超大L2 Cache优势实现模型权重异步预取,加速矩阵运算。

计算流调度上实现计算与通信双流并行,将MoE专家计算与Dense层计算拆分为独立计算流,最大限度利用芯片带宽与算力。

LongCat-2.0是美团继1月发布LongCat-Flash-2601后又一次重磅开源。测试版本在OpenRouter总调用量已跻身全球前三。

业内人士表示,此次华为首次公开昇腾A2完整部署方案与技术细节,标志着国产芯片已具备承载万亿参数大模型推理任务的能力,为AI算力国产替代提供了可复用的技术范本。

相关资讯 more..
手游营地
快科技8月3日消息,京东外卖正式推出全新研发的AI智能头盔,首批设备将免费发放给京东全职骑手,后续将逐步向全体骑手开放。该头盔集成了AI语音助手、单王带路、一键SOS求助及商户环境核验等核心功能,旨在
手游营地 08-03 3
手游营地
今日,英特尔携手微星亮相ChinaJoy 2026,集中展示搭载英特尔? 酷睿? Ultra 200S Plus系列处理器的游戏台式机,以及搭配上述处理器和Z890系列主板的台式机方案。微星现场展出了
手游营地 08-03 2
手游营地
快科技8月3日消息,今日,影石Insta360宣布,影石Mic Pro“灵动白”限量版发布,售价638元。据了解,影石Mic Pro于今年5月发布,定位旗舰级无线麦克风。此次推出的“灵动白”版本主要对
手游营地 08-03 3
手游营地
2026年中国国际数码互动娱乐展览会召开,首次设立“Next Play创新游戏体验场”,集中展示超过70个AIGC相关项目,涵盖AI NPC、互动叙事、生成式内容等前沿应用。在《共鸣计划》试玩区,其通
手游营地 08-03 3