Alphabet Inc.旗下谷歌公司周二公布了其用于訓(xùn)練人工智能模型的超級(jí)計(jì)算機(jī)的新細(xì)節(jié)，稱這些系統(tǒng)比英偉達(dá)的同類系統(tǒng)更快更省電。

圖片來(lái)自網(wǎng)絡(luò)/侵刪

　　谷歌自主設(shè)計(jì)了一種名為張量處理單元(Tensor Processing Unit，簡(jiǎn)稱 TPU)的芯片，用于訓(xùn)練人工智能模型，該公司 90% 以上的人工智能訓(xùn)練工作都使用這些芯片，這些模型可以用于諸如用人類語(yǔ)言回答問(wèn)題或生成圖像等任務(wù)。

　　據(jù)IT之家了解，谷歌的 TPU 現(xiàn)在已經(jīng)是第四代了。谷歌周二發(fā)表了一篇科學(xué)論文，詳細(xì)介紹了他們?nèi)绾问褂米约憾ㄖ崎_(kāi)發(fā)的光學(xué)開(kāi)關(guān)將 4000 多個(gè)芯片串聯(lián)成一臺(tái)超級(jí)計(jì)算機(jī)。

　　改善這些連接已經(jīng)成為建造人工智能超級(jí)計(jì)算機(jī)的公司之間競(jìng)爭(zhēng)的關(guān)鍵點(diǎn)，因?yàn)闉楣雀璧?Bard 或 OpenAI 的 ChatGPT 等技術(shù)提供動(dòng)力的所謂大型語(yǔ)言模型的規(guī)模已經(jīng)爆炸性增長(zhǎng)，這意味著它們太大，無(wú)法存儲(chǔ)在單個(gè)芯片上。

　　這些模型必須被分割到數(shù)以千計(jì)的芯片中，然后這些芯片必須協(xié)同工作數(shù)周或更長(zhǎng)時(shí)間來(lái)訓(xùn)練模型。谷歌的 PaLM 模型 —— 迄今為止其公開(kāi)披露的最大的語(yǔ)言模型 —— 是通過(guò)將其分散到 4,000 個(gè)芯片的兩臺(tái)超級(jí)計(jì)算機(jī)上，歷時(shí) 50 天進(jìn)行訓(xùn)練的。

　　谷歌表示，其超級(jí)計(jì)算機(jī)可以輕松地實(shí)時(shí)重新配置芯片之間的連接，有助于避免問(wèn)題并提高性能。

　　谷歌研究員 Norm Jouppi 和谷歌杰出工程師 David Patterson 在一篇關(guān)于該系統(tǒng)的博文中寫(xiě)道：“電路切換使我們很容易繞過(guò)故障部件。這種靈活性甚至允許我們改變超級(jí)計(jì)算機(jī)互連的拓?fù)浣Y(jié)構(gòu)，以加速 ML(機(jī)器學(xué)習(xí))模型的性能。”

　　雖然谷歌現(xiàn)在才公布其超級(jí)計(jì)算機(jī)的細(xì)節(jié)，但它已經(jīng)于 2020 年在內(nèi)部上線，在美國(guó)俄克拉荷馬州梅斯縣(Mayes County)的一個(gè)數(shù)據(jù)中心運(yùn)行。谷歌表示，初創(chuàng)公司 Midjourney 使用了該系統(tǒng)來(lái)訓(xùn)練其模型，該模型可以在輸入文字后生成圖像。

　　谷歌在論文中說(shuō)，對(duì)于同等規(guī)模的系統(tǒng)，其超級(jí)計(jì)算機(jī)比基于 Nvidia A100 芯片的系統(tǒng)快 1.7 倍，節(jié)能 1.9 倍。谷歌表示，之所以沒(méi)有將其第四代產(chǎn)品與 Nvidia 目前的旗艦產(chǎn)品 H100 芯片進(jìn)行比較，因?yàn)?H100 是在谷歌的芯片之后上市的，而且是用更新的技術(shù)制造的。谷歌暗示他們可能正在開(kāi)發(fā)一種新的 TPU，與 Nvidia H100 競(jìng)爭(zhēng)。
　　（碼上科技）

字節(jié)跳動(dòng)收入在去年飆升3...

福布斯公布2023全球億萬(wàn)...