中風(fēng)、脊髓損傷癱瘓、肌萎縮側(cè)索硬化(ALS)等患者，是腦機(jī)接口(BCI)領(lǐng)域的重要研究切入口，科學(xué)家們利用先進(jìn)的技術(shù)試圖重建這部分人的正常生活。此前的腦機(jī)接口已經(jīng)不同程度上解鎖了伸手、抓握或移動電腦光標(biāo)這樣的大動作技能，但更復(fù)雜和對靈敏度要求更高的技能才是腦機(jī)接口最終的證明。

　　北京時間5月12日晚間，頂級學(xué)術(shù)期刊《自然》(Nature)以封面文章的形式刊發(fā)了由斯坦福大學(xué)、布朗大學(xué)、哈佛醫(yī)學(xué)院等團(tuán)隊(duì)的研究人員聯(lián)合完成的一項(xiàng)里程碑式研究，題為“High-performance brain-to-text communication via handwriting”。該研究回歸到古老的表達(dá)自方式——手寫，首次解碼了與書寫有關(guān)的神經(jīng)信號，并實(shí)時顯示它們。

　　
 

　　研究團(tuán)隊(duì)將人工智能軟件與一款腦機(jī)接口設(shè)備結(jié)合起來，與一名大腦中植入腦機(jī)接口設(shè)備的癱瘓患者合作，讓該患者想象他拿著一支筆，在一張橫線紙上“嘗試”寫字，就像他的手沒有癱瘓一樣。并將該男子手寫意圖快速轉(zhuǎn)換為電腦屏幕上的文本。

　　“這種腦機(jī)接口是為那些患有‘閉鎖綜合征’(Locked-in Syndrome)的人設(shè)計(jì)的，這些人群幾乎所有的隨意肌都癱瘓，無法說話或交流。”該項(xiàng)研究的通訊作者同時也是第一作者的Francis R. Willett博士在接受澎湃新聞(www.thepaper.cn)記者專訪時表示，“想象一下,如果你只能上下移動你的眼睛卻動彈不得，這樣的設(shè)備可以讓輸入你想法的速度與正常的手寫或在智能手機(jī)上打字相媲美。”

　　Willett是斯坦福大學(xué)神經(jīng)修復(fù)轉(zhuǎn)化實(shí)驗(yàn)室的研究科學(xué)家，由霍華德·休斯醫(yī)學(xué)研究所任命。他的研究工作主要圍繞改善腦機(jī)接口、理解大腦是如何表現(xiàn)和控制運(yùn)動的。除Willett之外，該項(xiàng)研究主要由斯坦福大學(xué)神經(jīng)外科醫(yī)生Henderson，斯坦福大學(xué)霍華德·休斯醫(yī)學(xué)研究所研究員Krishna Shenoy共同指導(dǎo)，Willett即是Shenoy團(tuán)隊(duì)中的一員。Shenoy和Henderson則從2005年就開始合作腦機(jī)接口研究。

　　《自然》還同期刊發(fā)了華盛頓大學(xué)Pavithra Rajeswaran、Amy Orsborn兩位研究人員對該項(xiàng)研究的觀點(diǎn)文章。“盡管還有很多工作要做， Willett及其同事的這項(xiàng)研究是一個里程碑，拓寬了侵入式腦機(jī)接口應(yīng)用的視野。”他們評價(jià)道，這項(xiàng)研究中的方法“使允許快速交流的神經(jīng)接口更接近現(xiàn)實(shí)。”

　　加州大學(xué)伯克利分校的神經(jīng)工程師Jose Carmena沒有參與這項(xiàng)研究。他說，這項(xiàng)技術(shù)以及其他類似技術(shù)有潛力幫助各種殘疾人士。雖然這些發(fā)現(xiàn)只是初步的，“但這是該領(lǐng)域的一大進(jìn)步。”Carmena說，腦機(jī)接口將思想轉(zhuǎn)化為行動，“這篇論文就是一個很好的例子，解碼了書寫的意圖，并產(chǎn)生了動作。”

　　這項(xiàng)研究中使用的腦機(jī)接口僅用于研究，尚未批準(zhǔn)用于商業(yè)用途。斯坦福大學(xué)技術(shù)許可辦公室已經(jīng)申請了與Willett、Henderson和Shenoy的工作有關(guān)的知識產(chǎn)權(quán)專利。

　　研究人員第一次破解了關(guān)于字母書寫的神經(jīng)信號，使這些字母可以實(shí)時顯示出來。(01:40)

　　“找到讓人們交流更快的新方法”

　　這項(xiàng)研究開發(fā)的腦機(jī)接口對無法正常說話的人群有多重要?“如果是腦機(jī)接口，Jean-Dominique Bauby可能每分鐘能寫18個單詞。”Willett對澎湃新聞記者如是表示。

　　Jean-Dominique Bauby為原法國時尚雜志ELLE總編輯，其突然中風(fēng)，隨后全身癱瘓，只剩下眼睛能眨動。《潛水鐘與蝴蝶》是他罹患閉鎖綜合征后所作的傳記，為了寫這本書，一位輔助者將法語字母表中的所有字母一一列出，然后Bauby眨一下左眼才能選擇他想要的字母，寫一個單詞可能需要幾分鐘。

　　Henderson 也同樣談到這一例子。“他能夠?qū)懗鲞@本動人而美麗的書，是因?yàn)樗弑M所能地選擇字母，一次一個，并使用了眼球運(yùn)動。想象一下，如果有了Willett的手寫腦機(jī)接口，他能做什么!”

　　實(shí)際上，因不同原因?qū)е滦袆踊蛘f話能力喪失的人對腦機(jī)接口的需求不一。失去手功能的人仍然可以使用帶有語音識別和其他軟件的設(shè)備，而對于那些說話有困難的人，科學(xué)家們則一直在開發(fā)其他方式來幫助人們交流。

　　目前商用的輔助打字設(shè)備主要依賴于使用者能夠進(jìn)行眼球運(yùn)動或發(fā)出語音命令。例如，眼球追蹤鍵盤可以讓癱瘓者每分鐘輸入約47.5個字符，比沒有損傷的人每分鐘輸入115個字符的速度要慢。然而，這些技術(shù)不適用于癱瘓同時損害了眼球運(yùn)動或發(fā)聲的人。

　　而到目前為止，用于打字輸入的腦機(jī)接口還無法與眼球追蹤器等更簡單的輔助技術(shù)競爭。Rajeswaran等人在觀點(diǎn)文章中指出，原因之一是打字是一項(xiàng)復(fù)雜的任務(wù)，在英語中，我們就需要從26個字母中選擇。根據(jù)用戶的神經(jīng)活動來預(yù)測他們想選擇哪個字母，以此構(gòu)建一個分類算法，這也是一項(xiàng)具有挑戰(zhàn)性的工作。

　　目前最成功的侵入式腦機(jī)接口也是Shenoy團(tuán)隊(duì)于2017年在eLife雜志發(fā)表的一項(xiàng)研究。在那項(xiàng)研究中，包括T5(此項(xiàng)最新研究中的參與者)在內(nèi)的三個肢體癱瘓的參與者，都在運(yùn)動皮層植入了腦機(jī)接口，他們被要求全神貫注將光標(biāo)從電腦屏幕上的一個鍵移動到另一個鍵，然后集中精力點(diǎn)擊那個鍵。

　　在那項(xiàng)研究中，T5創(chuàng)造了迄今為止的最高記錄：以每分鐘40個字符的速度抄寫顯示出來的句子。但這些侵入式腦機(jī)接口，和非侵入性的眼球追蹤器一樣，占用了用戶的視覺注意力，并且不能提供明顯更快的輸入速度。

　　如果說2017年研究的模式類似于打字，那么此次這項(xiàng)新研究則類似于手寫，而此前沒人想過直接手寫。Willett想知道，是否有可能利用書寫時引發(fā)的大腦信號，“我們想找到讓人們交流更快的新方法。”研究團(tuán)隊(duì)因此與T5繼續(xù)合作。T5當(dāng)時65歲，其在2007年因?yàn)榧顾钃p傷癱瘓，幾乎喪失了頸部以下的所有活動能力。

　　
 

　　“腦轉(zhuǎn)文”腦機(jī)接口

　　Willett等人的新方法需要一種分類算法，能夠預(yù)測癱瘓用戶試圖書寫的26個字母或5個標(biāo)點(diǎn)符號，這是具有挑戰(zhàn)性的技術(shù)，因?yàn)榭茖W(xué)家們無法觀察到這些意圖。

　　為克服這一挑戰(zhàn)，Willett等人基于一種最初為語音識別開發(fā)的機(jī)器學(xué)習(xí)算法，重新設(shè)計(jì)了另一種算法。這使得他們能夠僅根據(jù)神經(jīng)活動來估計(jì)參與者何時開始嘗試書寫一個字符。根據(jù)這些信息，研究團(tuán)隊(duì)生成了一個帶有標(biāo)簽的數(shù)據(jù)集，其中包含每個字符對應(yīng)的神經(jīng)活動模式。他們用這個數(shù)據(jù)集來訓(xùn)練分類算法。

　　“當(dāng)我們第一次開始探索手寫腦機(jī)接口的概念時，我們不知道在癱瘓多年后，嘗試的手寫動作是否仍能喚起強(qiáng)烈和可重復(fù)的神經(jīng)活動模式。”

　　Willett對澎湃新聞記者表示，“令人興奮的是，當(dāng)我們要求參與者來手寫不同的字母時,盡管他的手已經(jīng)癱瘓十多年,我們?nèi)匀豢梢钥吹矫黠@的神經(jīng)活動模式，甚至足以重現(xiàn)他想象中的那支筆的動作，并展現(xiàn)出他想寫的字母。”

　　研究參與者想象書寫一個字母或符號時，他腦中的傳感器可以感知到電活動的模式并轉(zhuǎn)化為書寫痕跡。(00:12)

　　為了實(shí)現(xiàn)準(zhǔn)確的分類，Willett等人的分類算法還使用了現(xiàn)有的機(jī)器學(xué)習(xí)方法，以及一種叫做遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的人工神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)網(wǎng)絡(luò)特別擅長預(yù)測順序數(shù)據(jù)。Rajeswaran等人在觀點(diǎn)文章中提到，利用RNN的能力前提是需要大量的訓(xùn)練數(shù)據(jù)，但這些數(shù)據(jù)在神經(jīng)接口中是有限的，因?yàn)楹苌儆杏脩粼敢庀胂筮B續(xù)寫作數(shù)小時。

　　研究團(tuán)隊(duì)則用一種被稱為數(shù)據(jù)增強(qiáng)的方法解決了該問題。在這種方法中，參與者先前產(chǎn)生的神經(jīng)活動模式被用來產(chǎn)生句子，在這些句子上訓(xùn)練RNN。他們還通過在神經(jīng)活動模式中引入人為的變化來擴(kuò)展他們的訓(xùn)練數(shù)據(jù)，以模仿人類大腦中自然發(fā)生的變化。

　　
 

　　在這項(xiàng)研究中，T5同樣需要集中精力，試圖用一支假想的筆在假想的本子上寫出單個字母。他把每個字母重復(fù)10次，讓軟件“學(xué)習(xí)”識別與他嘗試寫那個特定字母相關(guān)的神經(jīng)信號。

　　在接下來數(shù)小時的測試中，T5被展示了幾組句子，并被要求在心里嘗試“手寫”每一個句子，沒有使用大寫字母。這些句子比如，“i interrupted, unable to keep silent,”和“within thirty seconds the army had landed.”。

　　隨著時間的推移，這些算法提高了它們區(qū)分代表不同字母或符號的神經(jīng)放電模式的能力。算法對T5意圖寫的任何字母的解讀在大約半秒的延遲后出現(xiàn)在電腦屏幕上。

　　T5還被要求復(fù)制算法從未接觸過的句子。他最終能夠每分鐘生成90個字符，大約18個單詞。之后，他被要求回答開放性的問題(需要一些停頓來思考)，他每分鐘寫了73.8個字符(平均接近15個單詞)，是2017年研究中自由書寫記錄速度的三倍。

　　Willett等人的算法提供了令人印象深刻的準(zhǔn)確分類。復(fù)制錯誤率大約是每18或19個字符中有一個錯誤;自由書寫錯誤率約為每11或12個字符中有一個。當(dāng)研究人員通過包括預(yù)測語言模型(類似于智能手機(jī)上的自動糾錯功能)后，錯誤率明顯較低：復(fù)制的錯誤率低于1%，自由書寫的錯誤率略高于2%。

　　“與其他腦機(jī)接口相比，這些錯誤率相當(dāng)?shù)汀?rdquo;Shenoy說。

　　兩個微小的植入電極矩陣可以將控制手和手臂的腦區(qū)信息轉(zhuǎn)化為算法，再翻譯成屏幕上的字母。(00:10)

　　何時轉(zhuǎn)化為真正的產(chǎn)品?

　　值得注意的是，此次研究中，Willett等人得出另一重要結(jié)論。Willett對澎湃新聞記者表示，“這款腦機(jī)接口的速度比之前更快，這是由像書寫不同的字母這樣的復(fù)雜運(yùn)動喚起的神經(jīng)活動模式，更容易區(qū)分。我們發(fā)現(xiàn)，要求參與者手寫不同的字母，在他的大腦中喚起了非常獨(dú)特的神經(jīng)活動模式。”

　　Willett等人認(rèn)為，這使得他們能夠在更快的速度下同時達(dá)到比以前更高的準(zhǔn)確性。

　　“當(dāng)你只能記錄傳感器采集到的少量神經(jīng)元時(與運(yùn)動腦區(qū)的數(shù)百萬神經(jīng)元相比)，有非常不同的神經(jīng)模式是有幫助的，意外混淆它們的幾率就會很低。這就是為什么復(fù)雜的運(yùn)動，比如寫不同的字母，可能更容易解碼，復(fù)雜性使它們更獨(dú)特，彼此不同。”Willett進(jìn)一步解釋道，相比之下，之前最先進(jìn)的打字方式，“沿著直線移動到不同的鍵上，會喚起非常相似的神經(jīng)活動模式，因?yàn)樗婕暗闹皇且粋€有著不同角度或不同距離的直線運(yùn)動。”

　　這也意味著，也許與我們直覺的認(rèn)為相反，解碼復(fù)雜的行為比簡單的行為更有利，特別是在分類任務(wù)中。這些信息對未來的腦機(jī)接口研究將有重要的借鑒意義。

　　當(dāng)然，這項(xiàng)研究也并非完美。在投入大規(guī)模臨床應(yīng)用前，仍需進(jìn)一步驗(yàn)證該技術(shù)的使用壽命、安全性和效果。Rajeswaran等人在觀點(diǎn)文章中即寫道，該技術(shù)“需要擁有極佳的效果和使用益處，才能證明在患者腦部植入電極所產(chǎn)生的費(fèi)用和風(fēng)險(xiǎn)是值得的。”

　　輸入速度并不是決定是否采用該技術(shù)的唯一因素。Rajeswaran等人認(rèn)為，要使該設(shè)備能在整個生命周期內(nèi)保持性能，比如遇到神經(jīng)活動模式改變時表現(xiàn)如何，這可能還需要進(jìn)一步的研究。繼續(xù)研究以測試該方法是否能推廣到其他用戶和實(shí)驗(yàn)室之外的設(shè)置，這也將是至關(guān)重要的。

　　Rajeswaran等人還關(guān)注到另一個問題，即該方法將如何擴(kuò)展并轉(zhuǎn)化為其他語言?Willett等人的研究也表明，有幾個字符寫起來會類似，比如r、v和u，因此比其他字符更難分類。“我們中的一個人(Rajeswaran)說泰米爾語，泰米爾語有247個字母，通常是密切相關(guān)的，所以可能很難分類。”他們在文章中寫道。

　　Willett則對澎湃新聞記者表示，要將這項(xiàng)技術(shù)轉(zhuǎn)化為真正的產(chǎn)品，就需要簡化它，用戶應(yīng)該不需要花費(fèi)太多時間來培訓(xùn)它就能夠使用這款腦機(jī)接口。此外，它應(yīng)該足夠智能，能夠自動跟蹤神經(jīng)活動的實(shí)時變化，這樣用戶就不必每天停下來重新訓(xùn)練系統(tǒng)。最后，微電極裝置應(yīng)是無線且完全植入。

　　“這是一個公司創(chuàng)造一個真實(shí)世界的產(chǎn)品必須要完成的工作。”他表示，在這項(xiàng)研究中，他們只是進(jìn)行了一個概念驗(yàn)證的演示，“手寫腦機(jī)接口是一個令人興奮和潛在的可行方法，使得我們可以恢復(fù)與嚴(yán)重癱瘓的人的交流。”

　　一個新的更全面的系統(tǒng)

　　值得注意的是，Shenoy的團(tuán)隊(duì)在設(shè)想，將手寫文本輸入作為一個更全面系統(tǒng)中的一部分，該系統(tǒng)還包括指向點(diǎn)擊，就像目前智能手機(jī)上使用的那樣，甚至還包括語音解碼。Shenoy說道，“擁有這兩種或三種模式并在它們之間切換是我們必然要做的。”

　　Shenoy說，接下來，研究團(tuán)隊(duì)打算與無法說話的參與者合作，比如患有肌萎縮性脊髓側(cè)索硬化癥的人，這是一種退行性神經(jīng)疾病，會導(dǎo)致運(yùn)動和語言能力喪失。

　　“雖然現(xiàn)在手寫每分鐘可以接近20個單詞，但我們的語速往往在每分鐘125個單詞左右，這是補(bǔ)充手寫的另一個令人興奮的方向。如果將這些系統(tǒng)結(jié)合起來，可以為患者提供更多有效溝通的選擇。”Shenoy說。

　　Willett在接受澎湃新聞記者采訪時也類似提到，目前腦機(jī)接口的另一個令人興奮的方向是“語音解碼”。語音解碼腦機(jī)接口的工作原理是解碼不能說話的人試圖說話的動作，并將其翻譯成合成語音或文本。

　　“這種可能性令人興奮，因?yàn)檎Z言是一種非常快速的交流方式，但目前的語音腦接機(jī)口既缺乏準(zhǔn)確性，也缺乏恢復(fù)通用會話所需的‘詞匯量’。”

　　他強(qiáng)調(diào)，解碼語音可能比解碼手寫更難，因?yàn)樗欤虼诵枰弑Ｕ娑鹊纳窠?jīng)記錄和更好的算法來確保每個音節(jié)都能被準(zhǔn)確識別。“因此，就目前而言，我們的手寫腦機(jī)接口是最快的工作腦機(jī)接口，足夠準(zhǔn)確，可以恢復(fù)普遍的交流，因?yàn)橛脩艨梢杂盟斎肴魏螁卧~。”

　　盡管如此，Willett仍在努力改進(jìn)語音解碼腦機(jī)接口。“我們認(rèn)為，為手寫腦機(jī)接口開發(fā)的算法也可能對語音解碼非常有用，因?yàn)槭謱懞驼Z音都是由語言構(gòu)成的快速行為序列，它們有很多共同之處。”