6月30日,華為正式宣布開源盤古70億參數的稠密模型、盤古Pro MoE 720億參數的混合專家模型和基于昇騰的模型推理技術。
此舉是華為踐行昇騰生態戰略的又一關鍵舉措,推動大模型技術的研究與創新發展,加速推進人工智能在千行百業的應用與價值創造。目前,盤古Pro MoE 72B模型權重、基礎推理代碼,已正式上線開源平臺;基于昇騰的超大規模MoE模型推理代碼,已正式上線開源平臺;盤古7B相關模型權重與推理代碼將于近期上線開源平臺。
盤古大模型(PanguLargeModels)是集數據管理、模型訓練和模型部署于一體的一站式大模型開發與應用平臺。平臺支持大模型的定制開發,提供全生命周期工具鏈,幫助開發者高效構建與部署模型,企業可靈活選擇適合的服務與產品,輕松實現模型與應用的開發。
在6月20日的華為開發者大會2025(HDC 2025),華為常務董事、華為云計算CEO張平安宣布基于CloudMatrix 384超節點的新一代昇騰AI云服務全面上線,為大模型應用提供澎湃算力;宣布盤古大模型5.5正式發布,自然語言處理(NLP)、計算機視覺(CV)、多模態、預測、科學計算五大基礎模型全面升級。
昇騰作為華為專注于AI計算的生態戰略抓手,通過持續的技術創新,推動AI技術的普及與應用。在今年的華為開發者大會上,新一代昇騰AI云服務也全面上線,目標是要打造最適合大模型應用的算力服務。
隨著大模型訓練和推理對算力需求的爆炸式增長,傳統計算架構已難以支撐AI技術的代際躍遷。華為云新一代昇騰AI云服務基于CloudMatrix 384超節點,首創將384顆昇騰NPU和192顆鯤鵬CPU通過全新高速網絡MatrixLink全對等互聯,形成一臺超級“AI服務器”,單卡推理吞吐量躍升到2300 Tokens/s,與非超節點相比提升近4倍。超節點架構能更好地支持混合多專家MoE大模型的推理,可以實現“一卡一專家”,一個超節點可以支持384個專家并行推理,極大提升效率;同時,超節點還可以支持“一卡一算子任務”,靈活分配資源,提升任務并行處理,減少等待,將算力有效使用率(MFU)提升50%以上。
對于萬億、十萬億參數的大模型訓練任務,在云數據中心,還能將432個超節點級聯成最高16萬卡的超大集群;同時,超節點還可以支持訓推算力一體部署,如“日推夜訓”,訓推算力可靈活分配,幫助客戶資源使用最優。
華為方面介紹,當前,昇騰AI云服務已經成為AI基礎設施的最優選擇,為科大訊飛、新浪、硅基流動、面壁智能、中國科學院、360等超過1300家客戶提供澎湃的AI算力,加速千行萬業智能化升級。