第十一屆中國(上海)國際技術(shù)進出口交易會上的一款人工智能多模態(tài)腦機接口系統(tǒng)。
逸成攝(影像中國)
在瑞士洛桑,科學家在進行腦機接口實驗。
EThamPhoto(影像中國)
腦機接口技術(shù)通過檢測和調(diào)控大腦活動,在大腦與外部設(shè)備之間建立直接的信息通路,創(chuàng)造了前所未有的人機交互方式,也讓“意念對話”從科幻照進現(xiàn)實。近年來,隨著技術(shù)迭代發(fā)展,多國在相關(guān)領(lǐng)域開展實驗探索,特別是在語言腦機接口領(lǐng)域取得了一系列突破:從中風癱瘓患者“腦波轉(zhuǎn)語音”的實時溝通,到腦控機械臂書寫漢字,再到幫助漸凍癥患者提高生活質(zhì)量……這一新型技術(shù)正在為語言障礙群體架起溝通世界的橋梁,也將為治療神經(jīng)系統(tǒng)等方面疾病提供新的思路和方案。
可實時將大腦活動轉(zhuǎn)化為言語
大腦是一個強大而孤獨的器官,它被顱骨嚴密保護,負責處理感覺、情感、記憶、決策與運動等信息。外界信息進入大腦,或大腦信息傳至外界,依賴于我們身體的生物信息接口(即感官和神經(jīng)系統(tǒng))?,F(xiàn)代科技的發(fā)展,使人類開始有能力檢測到大腦活動信號,并從中解碼所含信息,進而利用這些信息跳過肌肉系統(tǒng),直接控制外部設(shè)備,相當于在大腦和外部世界間建立了一個人工的信息接口,這就是腦機接口技術(shù)。
語言腦機接口作為腦機接口的一個具體應(yīng)用方向,它通過直接檢測大腦活動,特別是從控制運動的腦區(qū)提取與說話相關(guān)的信號,解碼其中包含的語句信息,進而控制語音合成設(shè)備“說出”患者想說的話。理想情況下,它就像一個實時的同聲傳譯系統(tǒng),不僅要準確解讀人們的意圖和想法,還應(yīng)盡可能快速、保真地輸出自然語言。要實現(xiàn)這一功能,科學家們需要解決信號解碼、語音合成、輸出延遲等一系列技術(shù)問題。
隨著神經(jīng)科學與工程技術(shù)的進步,全球多項研究正從不同維度推進語言腦機接口技術(shù)快速迭代,有望邁入“毫秒級解碼+自然對話”的醫(yī)療應(yīng)用新階段。今年3月,我國自主研發(fā)的“北腦一號”半侵入式系統(tǒng)完成第三例人體植入,其柔性高密度電極實現(xiàn)了128通道同步信號采集,使?jié)u凍癥失語患者成功恢復語言交流能力,同時降低了手術(shù)創(chuàng)傷風險。前不久,美國加利福尼亞大學戴維斯分校研究團隊發(fā)布了一種新型語言腦機接口系統(tǒng)。該團隊在一名45歲因漸凍癥而失語的男性患者腦部植入了256通道的微電極陣列,并運用深度學習算法捕捉他大腦中的相關(guān)信號,從而解析出他想說的話語。系統(tǒng)可以每10毫秒捕獲一次腦波信號特征,幾乎可以實時解碼失語患者試圖發(fā)出的聲音,并且能顯示語調(diào)變化,還能以3種音高哼唱出一串音符,整體表達更加自然流暢。
人工智能算法是技術(shù)突破的關(guān)鍵
集成并運用先進的人工智能模型,是腦機接口解碼大腦神經(jīng)信號、生成和輸出自然語言的關(guān)鍵。
近年來,全球各地的科研機構(gòu)在這一領(lǐng)域相繼發(fā)布最新進展。荷蘭烏得勒支大學醫(yī)學中心與拉德堡德大學團隊優(yōu)化深度學習模型,將感覺運動皮層的神經(jīng)活動實時轉(zhuǎn)化為可識別的語音。該模型可以實現(xiàn)單個單詞92%—100%的分類準確率,同時合成語音的語調(diào)和音色特征也得到高度保留。此次加利福尼亞大學戴維斯分校研究團隊開發(fā)的深度學習模型中,還利用患者失語前的錄音素材來訓練人工智能算法,使其能夠合成和輸出近乎患者原聲的語音。
漢語有418個音節(jié)和四聲調(diào),相較于英語等語言,研發(fā)針對漢語特征的神經(jīng)編解碼機制和信息處理手段面臨更大的挑戰(zhàn)。我國復旦大學附屬華山醫(yī)院、上??萍即髮W、天津大學聯(lián)合團隊開發(fā)了面向中文的語言腦機接口。這種多流神經(jīng)網(wǎng)絡(luò)模型,同時對聲調(diào)及音節(jié)進行解碼,實現(xiàn)單被試聲調(diào)音節(jié)分類正確率最高達到76%,單字解碼分類正確率達到91%。
這些研究進展為語言腦機接口走向?qū)嵱玫於藞詫嵒A(chǔ)。未來更大的挑戰(zhàn)可能在于對意圖和語義的解碼。目前的研究,主要是解決從控制發(fā)聲的大腦皮層解碼語言運動指令的問題,但有相當一部分失語癥的患者,是因為組織語言的腦區(qū)而不是控制發(fā)聲的腦區(qū)受損,所以難以組織通順的句子。這需要直接從處理層級更高的大腦皮層記錄信號,用以解碼患者意圖,并結(jié)合大語言模型等人工智能技術(shù)生成相應(yīng)的語言表述。目前,對腦內(nèi)復雜意圖的解碼還處于研究的初期,期待未來的語言腦機接口能夠進一步突破,實現(xiàn)真正的“所想即所得”。
有望為治療神經(jīng)系統(tǒng)疾病帶來變革
在醫(yī)療領(lǐng)域,腦機接口技術(shù)不僅可以幫助失語癥患者恢復語言能力,還有望在神經(jīng)系統(tǒng)損傷或疾病治療方面引發(fā)更多變革。
比如,瑞士洛桑聯(lián)邦理工學院和洛桑大學醫(yī)院的研究人員此前開發(fā)了一種腦—脊髓接口,通過解碼大腦的運動控制指令并刺激參與行走的脊髓區(qū)域,讓癱瘓患者實現(xiàn)了行走。目前該系統(tǒng)在植入后保持了一年以上的穩(wěn)定運行,患者可在家庭環(huán)境中獨立使用,且無需頻繁校準。
近日,復旦大學、中國科學院聯(lián)合團隊開發(fā)出全球首款光譜覆蓋可見光和紅外線的視覺假體。該裝置植入眼底后,可在視網(wǎng)膜中替代感光細胞接收光信號,將其轉(zhuǎn)化為電信號,激活視網(wǎng)膜上的神經(jīng)節(jié)細胞,并將視覺信息傳送至大腦。這一技術(shù)讓失明的實驗動物重新獲得了對可見光和紅外線的感知能力,未來有望在治療視網(wǎng)膜病變方面取得突破。
此外,腦機接口可以通過植入電極精準地調(diào)控腦中特定靶點的活動,也可以通過非侵入式的方法(比如經(jīng)顱的電刺激或磁刺激)來進行調(diào)控。前者的成功例子包括利用深部腦刺激治療帕金森病,后者目前已經(jīng)有大量的研究在探索,用于治療從重度抑郁到阿爾茨海默病等多種腦疾病。
不過,腦機接口技術(shù)仍有不少亟待攻克的挑戰(zhàn)。植入式腦機接口需要進一步驗證在體內(nèi)長期工作的穩(wěn)定性和安全性,進一步降低電極植入的創(chuàng)傷,并提高對于神經(jīng)信號解碼的準確性和運行穩(wěn)定性。同時,腦科學研究需要揭示更多關(guān)于大腦信息處理過程和處理模式的知識,以便腦機接口可以更高效地與大腦進行交互。
與此同時,由于腦機接口技術(shù)直接涉及對大腦活動的檢測和干預,其未來發(fā)展必須高度關(guān)注倫理、隱私、數(shù)據(jù)安全等潛在風險。這些問題已經(jīng)得到聯(lián)合國等國際組織以及我國相關(guān)主管部門的高度重視,腦機接口研究與應(yīng)用相關(guān)的倫理、標準、規(guī)范正在逐步完善,以確保腦機接口技術(shù)和應(yīng)用能夠健康、可持續(xù)地發(fā)展,最終造福全人類。
(作者為中國科學院自動化研究所研究員)