「如今，LLM(大語言模型)并不是單點突破的 —— 而是需要多個重要組件有效協(xié)同工作的系統(tǒng)。Speculative decoding 是幫助我們從系統(tǒng)角度思考的一個很好的例子。」愛丁堡大學(xué)博士生符堯表示道。

圖片來自網(wǎng)絡(luò)/侵刪

　　符堯上述觀點評論的是特斯拉前 AI 總監(jiān)、年初重回 OpenAI 的 Andrej Karpathy 剛剛發(fā)布的一條推特。

　　人形機器人公司 1X Technologies 的 AI 副總裁 Eric Jang 評價道：「Karpathy 很好的解釋了 LLM 的 speculative execution。其他自回歸模型可能會以類似的方式加速。連續(xù)(擴散)模型可能從 K 步中獲益較少(可能在第 1 步后偏離猜測)，但可以將其應(yīng)用于 VQ-latents 的離散代碼。」

圖片來自網(wǎng)絡(luò)/侵刪

　　看完上述評價，我們大概也了解了，Karpathy 說的「Speculative execution」，這是優(yōu)化技術(shù)的一類，采用這個技術(shù)的計算機系統(tǒng)會根據(jù)現(xiàn)有信息，利用空轉(zhuǎn)時間提前執(zhí)行一些將來可能用得上，也可能用不上的指令。如果指令執(zhí)行完成后發(fā)現(xiàn)用不上，系統(tǒng)會拋棄計算結(jié)果，并回退執(zhí)行期間造成的副作用(如緩存)。

　　為了讓大家更好的理解 Karpathy 的內(nèi)容。我們先介紹一下「Speculative decoding」方法，對后續(xù)理解更加有益，其主要用于加速大模型的推理。據(jù)了解，GPT-4 泄密報告也提到了 OpenAI 線上模型推理使用了它(不確定是否 100%)。

　　關(guān)于「Speculative decoding」，已有幾篇重要文獻(xiàn)可供參考，這也是 Karpathy 為了寫這則推特所參考的論文，包括谷歌今年 1 月發(fā)表的論文《Fast Inference from Transformers via Speculative Decoding》、DeepMind 今年 2 月發(fā)表的論文《Accelerating Large Language Model Decoding with Speculative Sampling》，以及谷歌等機構(gòu) 2018 年的論文《Blockwise Parallel Decoding for Deep Autoregressive Models 》 。

　　簡單來說，「Speculative decoding」使用兩個模型：一個是原始目標(biāo)模型稱為大模型，另一個是比原始模型小得多的近似模型稱為小模型。主要思想是先讓小模型提前解碼多個 token 進(jìn)行猜測，并將它們作為單個 batch 輸入到一個大模型中進(jìn)行審核修正，其效果和直接用大模型解碼等價。如果小模型猜測的不準(zhǔn)確，那么大型模型會放棄小模型預(yù)測的 token，繼續(xù)使用大型模型進(jìn)行解碼。

　　由于小模型計算量小，從而大大減少了內(nèi)存訪問需求。

　　介紹完「Speculative decoding」，我們再回到 Karpathy 的推特。Karpathy 是針對下面內(nèi)容回復(fù)的。

　　Karpathy 表示：對于 LLM 來說，「Speculative execution」 是一種極好的推理 — 時間優(yōu)化方法。

　　它取決于以下方面：在單個輸入 token 上分發(fā) LLM 所花費的時間與在批處理中分發(fā) K 個輸入 token 所花費的時間一樣多。產(chǎn)生這樣的原因是因為采樣嚴(yán)重受內(nèi)存限制：模型運行時的大部分工作不是在做計算，而是從 VRAM 讀取 transformer 的權(quán)重到片上緩存進(jìn)行處理。如果你要做的工作是來讀取這些權(quán)值，你可以把它們應(yīng)用到一整批輸入向量上。

　　但是我們不能一次性采樣一批 K 個 token，因為每 N 個 token 都取決于我們在第 N-1 步采樣的 token。由于存在串行依賴性，因此基線實現(xiàn)只是從左到右逐一進(jìn)行。

　　現(xiàn)在最聰明的想法是使用一個小而便宜的草稿模型(draft model)，先生成 K 個 token 候選序列，即一個「草稿」。然后用大模型批量的將輸入組合在一起。速度幾乎與僅輸入一個 token 一樣快。接著從左到右遍歷模型和樣本 token 預(yù)測的 logits。任何與「草稿」一致的樣本都允許立即跳到下一個 token。如果存在分歧，那么就丟棄「草稿」并承擔(dān)一些一次性工作的成本(對「草稿」進(jìn)行采樣并為所有后續(xù) token 進(jìn)行前向傳遞)。

　　這種方法起作用的原因在于，很多「草稿」token 都會被接受，因為它們很容易，所以即使是更小的草稿模型也能得到它們。當(dāng)這些簡單的 token 被接受時，我們會跳過這些部分。大模型不同意的 hard token 會回落到原始速度，但由于一些額外的工作，實際上速度會慢一些。

　　Karpathy 表示，這個奇怪的技巧之所以有效，是因為 LLM 在推理時受到內(nèi)存限制，在對單個序列進(jìn)行采樣的 batch size=1 設(shè)置中，很大一部分本地 LLM 用例都屬于這種情況。因為大多數(shù) token 都很「簡單」。
　　（邯鄲小程序）