6月30日,華為正式宣布開源盤古70億參數(shù)的稠密模型、盤古Pro MoE 720億參數(shù)的混合專家模型和基于昇騰的模型推理技術。
此舉是華為踐行昇騰生態(tài)戰(zhàn)略的又一關鍵舉措,推動大模型技術的研究與創(chuàng)新發(fā)展,加速推進人工智能在千行百業(yè)的應用與價值創(chuàng)造。目前,盤古Pro MoE 72B模型權重、基礎推理代碼,已正式上線開源平臺;基于昇騰的超大規(guī)模MoE模型推理代碼,已正式上線開源平臺;盤古7B相關模型權重與推理代碼將于近期上線開源平臺。
盤古大模型(PanguLargeModels)是集數(shù)據(jù)管理、模型訓練和模型部署于一體的一站式大模型開發(fā)與應用平臺。平臺支持大模型的定制開發(fā),提供全生命周期工具鏈,幫助開發(fā)者高效構建與部署模型,企業(yè)可靈活選擇適合的服務與產(chǎn)品,輕松實現(xiàn)模型與應用的開發(fā)。
在6月20日的華為開發(fā)者大會2025(HDC 2025),華為常務董事、華為云計算CEO張平安宣布基于CloudMatrix 384超節(jié)點的新一代昇騰AI云服務全面上線,為大模型應用提供澎湃算力;宣布盤古大模型5.5正式發(fā)布,自然語言處理(NLP)、計算機視覺(CV)、多模態(tài)、預測、科學計算五大基礎模型全面升級。
昇騰作為華為專注于AI計算的生態(tài)戰(zhàn)略抓手,通過持續(xù)的技術創(chuàng)新,推動AI技術的普及與應用。在今年的華為開發(fā)者大會上,新一代昇騰AI云服務也全面上線,目標是要打造最適合大模型應用的算力服務。
隨著大模型訓練和推理對算力需求的爆炸式增長,傳統(tǒng)計算架構已難以支撐AI技術的代際躍遷。華為云新一代昇騰AI云服務基于CloudMatrix 384超節(jié)點,首創(chuàng)將384顆昇騰NPU和192顆鯤鵬CPU通過全新高速網(wǎng)絡MatrixLink全對等互聯(lián),形成一臺超級“AI服務器”,單卡推理吞吐量躍升到2300 Tokens/s,與非超節(jié)點相比提升近4倍。超節(jié)點架構能更好地支持混合多專家MoE大模型的推理,可以實現(xiàn)“一卡一專家”,一個超節(jié)點可以支持384個專家并行推理,極大提升效率;同時,超節(jié)點還可以支持“一卡一算子任務”,靈活分配資源,提升任務并行處理,減少等待,將算力有效使用率(MFU)提升50%以上。
對于萬億、十萬億參數(shù)的大模型訓練任務,在云數(shù)據(jù)中心,還能將432個超節(jié)點級聯(lián)成最高16萬卡的超大集群;同時,超節(jié)點還可以支持訓推算力一體部署,如“日推夜訓”,訓推算力可靈活分配,幫助客戶資源使用最優(yōu)。
華為方面介紹,當前,昇騰AI云服務已經(jīng)成為AI基礎設施的最優(yōu)選擇,為科大訊飛、新浪、硅基流動、面壁智能、中國科學院、360等超過1300家客戶提供澎湃的AI算力,加速千行萬業(yè)智能化升級。