作為人工智能最重要的基礎(chǔ)技術(shù)之一，近年來(lái)深度學(xué)習(xí)逐步延伸到更多的應(yīng)用場(chǎng)景。隨著深度學(xué)習(xí)模型越來(lái)越大，所需數(shù)據(jù)量越來(lái)越多，深度學(xué)習(xí)的訓(xùn)練和推理性能將是重中之重。

　　近日，斯坦福大學(xué)發(fā)布了 DAWNBenchmark 的最新成績(jī)，在圖像識(shí)別(ResNet50-on-ImageNet，93% 以上精度)的總訓(xùn)練時(shí)間上，華為云 ModelArts 排名世界第一，僅需 10 分 28 秒，比第二名提升近 44%。成績(jī)證明，華為云 ModelArts 實(shí)現(xiàn)了更低成本、更快速度、更極致的體驗(yàn)。

　　斯坦福大學(xué) DAWNBench 是用來(lái)衡量端到端的深度學(xué)習(xí)模型訓(xùn)練和推理性能的國(guó)際權(quán)威基準(zhǔn)測(cè)試平臺(tái)，相應(yīng)的排行榜反映了當(dāng)前全球業(yè)界深度學(xué)習(xí)平臺(tái)技術(shù)的領(lǐng)先性。

　　深度學(xué)習(xí)訓(xùn)練加速 需求日益劇增

　　人工智能領(lǐng)域存在巨大的反差，一方面論文數(shù)量、AI 計(jì)劃、創(chuàng)業(yè)公司數(shù)量繁多，一方面?zhèn)鹘y(tǒng)行業(yè)和企業(yè)卻鮮有部署 AI，AI 普及率在多個(gè)行業(yè)還是個(gè)位數(shù)。華為 GIV 預(yù)測(cè)，到 2025 年，全球人工智能終端將達(dá)到 400 億臺(tái)，企業(yè)應(yīng)用云化率將達(dá)到 85%;企業(yè)數(shù)據(jù)利用率將達(dá)到 80%;86% 的企業(yè)將應(yīng)用人工智能。

　　近年來(lái)，深度學(xué)習(xí)已經(jīng)廣泛應(yīng)用于計(jì)算機(jī)視覺、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域，為了達(dá)到更高的精度，通常深度學(xué)習(xí)所需數(shù)據(jù)量和模型都很大，訓(xùn)練非常耗時(shí)，這也在一定程度上阻礙了深度學(xué)習(xí)應(yīng)用的開發(fā)進(jìn)度。因此，深度學(xué)習(xí)訓(xùn)練加速一直是學(xué)術(shù)界和工業(yè)界所關(guān)注的重要問(wèn)題。

　　最近 BigGAN、NASNet、BERT 等模型的出現(xiàn)，預(yù)示著訓(xùn)練更好精度的模型需要更強(qiáng)大的計(jì)算資源。未來(lái)隨著模型的增大、數(shù)據(jù)量的增加，深度學(xué)習(xí)訓(xùn)練加速將變得更加重要。

　　華為云 ModelArts 是一站式的 AI 開發(fā)平臺(tái)，已經(jīng)在公測(cè)中。在模型訓(xùn)練部分，ModelArts 通過(guò)硬件、軟件和算法協(xié)同優(yōu)化來(lái)實(shí)現(xiàn)訓(xùn)練加速。可將訓(xùn)練時(shí)長(zhǎng)縮短到 10 分鐘，創(chuàng)造了新的紀(jì)錄，為用戶節(jié)省 44% 的時(shí)間。ModelArts 提供自動(dòng)學(xué)習(xí)、數(shù)據(jù)管理等多個(gè)模塊化的服務(wù)，可以幫助不同層級(jí)的用戶很快地開發(fā)出自己的 AI 模型。

　　開發(fā)者只需聚焦業(yè)務(wù)模型，無(wú)憂其他

　　在衡量分布式深度學(xué)習(xí)的加速性能時(shí)，主要通過(guò)兩個(gè)指標(biāo)來(lái)衡量，一個(gè)是吞吐量，即單位時(shí)間內(nèi)處理的數(shù)據(jù)量;另一個(gè)是收斂時(shí)間，即達(dá)到一定的收斂精度所需的時(shí)間。

　　吞吐量一般取決于服務(wù)器硬件、數(shù)據(jù)讀取和緩存等方面的優(yōu)化，大部分技術(shù)在提升吞吐量的同時(shí)，不會(huì)造成對(duì)模型精度的影響。為了達(dá)到最短的收斂時(shí)間，需要在優(yōu)化吞吐量的同時(shí)，在調(diào)參方面也做調(diào)優(yōu)。如果調(diào)參調(diào)得不好，那么吞吐量有時(shí)也很難優(yōu)化上去。

　　對(duì)用戶而言，最終關(guān)心的指標(biāo)是收斂時(shí)間，ModelArts 實(shí)現(xiàn)了全棧優(yōu)化，分別在數(shù)據(jù)讀取和預(yù)處理、模型計(jì)算、超參調(diào)優(yōu)、底層優(yōu)化等方面進(jìn)行優(yōu)化，縮短了訓(xùn)練收斂時(shí)間。

　　在易用性方面，上層開發(fā)者僅需關(guān)注業(yè)務(wù)模型，無(wú)需關(guān)注下層分布式相關(guān)的 API，僅需根據(jù)實(shí)際業(yè)務(wù)定義輸入數(shù)據(jù)、模型以及相應(yīng)的優(yōu)化器即可，訓(xùn)練腳本與運(yùn)行環(huán)境(單機(jī)或者分布式)無(wú)關(guān)，上層業(yè)務(wù)代碼和分布式訓(xùn)練引擎可以做到完全解耦。

　　華為云 ModelArts 致力于為用戶提供更快的 AI 開發(fā)體驗(yàn)，在模型訓(xùn)練這方面，內(nèi)置的 MoXing 框架使得深度學(xué)習(xí)模型訓(xùn)練速度有了很大的提升。事實(shí)上，深度學(xué)習(xí)加速屬于一個(gè)從底層硬件到上層計(jì)算引擎、再到更上層的分布式訓(xùn)練框架及其優(yōu)化算法多方面協(xié)同優(yōu)化的結(jié)果，具備全棧優(yōu)化能力才能將用戶訓(xùn)練成本降到最低。后續(xù)，華為云 ModelArts 將進(jìn)一步整合軟硬一體化的優(yōu)勢(shì)，逐步集成更多的數(shù)據(jù)標(biāo)注工具，擴(kuò)大應(yīng)用范圍，在公有云上為用戶提供 AI 服務(wù)。
　　（邯鄲網(wǎng)站建設(shè)）