华为开源openPangu 2.0 Pro
华为开源openPangu-2.0-Pro,这是基于昇腾训练的MoE大模型,总参数505B、激活参数18B,上下文长度达512K。模型预训练数据量34T tokens,并结合统一SFT、多专家RL和在线蒸馏等后训练流程。
事件进展(1 篇报道)
-
2026-07-31 14:47Reddit r/LocalLLaMA Huawei opensouced openPangu-2.0-Pro, 505B-A18B
华为开源openPangu-2.0-Pro,这是基于昇腾训练的MoE大模型,总参数505B、激活参数18B,上下文长度达512K。模型预训练数据量34T tokens,并结合统一SFT、多专家RL和在线蒸馏等后训练流程。