0
美國加州大學舊金山分校的科學家，已經訓練出一種算法，可以直接將受試者的腦電波實時翻譯成句子，錯誤率僅為 3% 。
這項研究發表在《自然神經科學》（Nature Neuroscience）雜志上，他們招募了 4 位志愿者，這些志愿者被要求多次朗讀 30-50 個固定句子，而電極記錄下他們的大腦活動。[1]
【 雷鋒網注：人類對大腦所知甚少。圖片來源：Pixabay 所有者：Gerd Altmann 】
這些數據隨后被輸入到機器學習算法，它將每個句子的大腦活動數據轉換成一串數字和字符串。
系統從這些大腦活動數據再推導出聲音，并和實際記錄的音頻進行比較。數字和字符串則被再次輸入到系統，轉換成一個單詞序列。
起初，系統會吐出毫無意義的句子。但是當系統將每個單詞序列與實際朗讀的句子進行比較時，它得到了改進，學會了數字字符串與單詞的關系，以及哪些單詞是有上下文關系的。
算法不斷的訓練，直到從說話時的大腦活動中產生書面文本，類似機器翻譯。
新系統的準確性遠遠高于以前的方法。雖然準確性因人而異，但對于其中一位志愿者來說，平均每個句子只有 3% 需要糾正，高于速記員 5% 的單詞錯誤率。
當然，目前這個系統還是有很大局限，算法還只能處理少量的句子。系統也不能用于嚴重殘疾失去語言能力的患者，因為它依賴于記錄大聲說出句子的人的大腦活動。
然而，每個志愿者只用了不到 40 分鐘來訓練，在有限的小數據集情況下，達到了迄今為止最大的精確度。
腦機接口
從人類大腦信號到外部設備之間建立連接通路并不是新鮮事，腦機接口的研究已持續了 30 年。
【 雷鋒網注：腦機接口近30年來一直是研究熱點。圖片來源：Pixabay 所有者：aytuguluturk 】
在過去的十年，我們已經能夠解碼語音信號，但是局限于孤立音素或者單音節詞，在一段 100 個單詞的連續語音的情況下，解碼正確的單詞少于 40% 。
科學家們此次找到的是一個更直接的方法，就是采取機器翻譯類似的算法。機器翻譯就是將文本從一種語言到另一種語言的算法翻譯，只不過這次輸入的文本變成了腦電波信號。此次發表的論文《使用編碼器-解碼器框架：大腦皮層活動到文本的機器翻譯》，正是詳細描述了這一過程。
在系統對一個志愿者進行訓練之后，再對另外一個志愿者訓練時，解碼結果得到了改善，這表明該技術可以在人和人之間進行遷移。
在 GitHub 上，放置了論文對應的代碼。
ecog2txt 模塊，用于從神經數據中將語音解碼為文本。它用 Python 代碼實現了跨主題的遷移學習的高級功能。[2]
【雷鋒網注：ecog2txt是論文對應的開源實現模塊】
而訓練本身則是通過另一個 machine_learning 軟件包，它在 TensorFlow 里實現了一個序列到序列的網絡。[3]
這些軟件包的作者，也是論文的聯合作者之一約瑟夫·馬金（Joseph Makin）博士，他目前是加州大學舊金山分校整合神經科學中心的研究科學家。他的專業是電機工程和計算機科學，專門研究控制理論，包括腦機接口的算法開發。[4]
【雷鋒網注：上圖為張愛德博士】
論文的另外一個聯合作者是張愛德（Edward Chang）博士，他是醫學博士和神經外科醫生，擅長為患有癲癇病，腦瘤，三叉神經痛，面肌痙攣和運動障礙的成年人提供治療。他目前是加州大學舊金山分校威爾神經科學研究所的神經外科教授，還領導了一個神經工程與假肢中心，以恢復癱瘓和言語障礙等神經疾病患者的功能。[5]
網友評論
科學家們曾經認為將大腦信號轉換為可理解的語音可能需要數十年，而現在這個間隔可以用幾年來衡量。在 reddit 的科學板塊，該消息引發了 3 萬多次點贊和上千條評論。[6]
網友 derlumpenhund 評論說，這并不表示思想閱讀機發明出來了。它主要依賴于解碼口舌運動時對應的大腦皮層活動，需要收集給定主題的數據，并且提前進行訓練，并不會直接解碼你的思想活動。話雖這么說，這一進展也很了不起。
網友 boointhehouse 則說，如果這項技術早點用于斯蒂芬·霍金，在他的一生中還能完成更多的工作。
引用來源：
[1] https://www.nature.com/articles/s41593-020-0608-8.epdf
[2] https://github.com/jgmakin/ecog2txt
[3] https://github.com/jgmakin/machine_learning
[4] https://profiles.ucsf.edu/joseph.makin
[5] https://profiles.ucsf.edu/edward.chang
[6] https://www.reddit.com/r/science/comments/fry305/scientists_develop_ai_that_can_turn_brain/
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
