0
解讀 | Antonio
近期，一家以色列NLP研究機構AI21 Labs開發了一個名叫Jurassic-X的算法系統，它基于該實驗室提出來的MRKL（它與miracle諧音）系統。Jurassic-X的前身是對標GPT-3的Jurassic-1，然而卻克服了它們不擅于推理、更新昂貴、不能有效處理時序數據等缺點。
論文地址：https://arxiv.org/pdf/2204.10019.pdf
MRKL的全稱是模塊化推理、知識和語言系統（Modular Reasoning, Knowledge and Language），它試圖將現有的神經網絡模型，如大規模語言模型LLM，和外部知識庫，以及過去流行的符號專家系統結合在一起，從而來兼顧神經模型和符號推理能力。
這一系統是針對現有的大規模語言模型的諸多缺點進行的改進。在GPT-3以及Jurassic-1等大規模語言模型進行預訓練，之后應用在多個下游任務，常常有兩種極端的方式：
（1）多個任務直接通過零樣本學習的方式進行。這種方式無需更新任何參數，從而保證了多功能性（versatility）；
（2）在每個任務上都對于大規模語言模型進行微調。這種方式不僅需要大量的資源，具有很差的遷移性，還會經常導致在一個任務微調完之后，其余任務表現得很差——災難性遺忘（catastrophic forgetting）的困境。
基于MRKL系統的Jurassic-X則主要借鑒了類似于prompt learning的方式，來凍結大部分模型原有的參數，僅更新一部分任務相關的參數來避免上述問題。之后會對這塊的方法有一個初步的介紹。
同時，僅僅依賴神經語言模型，也會有很多本質上的問題：它們對于外部知識無法高效利用，尤其對于一些時序更新的數據，例如新冠疫情最新的數據以及貨幣匯率等信息，它們的推理能力很弱，例如最簡單的算術題（自然語言給出的）有時候都會犯錯。
舉例來說：
問題：在最近的一個月里，哪一家清潔能源公司有最大的份額增長？
這是一個組合的“多專家”問題：首先模型會從例如百科庫WIKI接口中獲取有哪些清潔能源公司，之后它會從日歷中獲取上個月指的是什么時候，以及從數據庫中獲取相應的份額增長；之后在匯總了上述信息后，它可以通過一個計算器去計算“最大的增長”，最后通過語言模型來給出答案。
要完成這些目標需要訓練離散的專家系統，將他們的接口和神經網絡之間進行平滑，并在不同的模塊之間去選擇等等。一些技術細節可以參考介紹MRKL的文章，之后會針對其中在下游任務上的訓練方式做一個簡要的介紹，更詳細的技術細節可以參考論文。
財富雜志從商業角度分析了MRKL以及Jurassic-X反映了當代AI的四個趨勢：通用性、基于LLM、混合系統、減少權重訓練。
MRKL致力于僅使用單一模型解決各種各樣的自然語言任務，而并不是像現階段很多模型只能解決特定的單一任務，這是朝著通用人工智能的必經之路。例如，一個流暢的機器人對話系統不僅僅能順暢地完成對話，還可以同時對某些話語進行情感分析。事實上，GPT-3等大規模模型已經顯示出它的在多個任務上零樣本學習的巨大潛力了，而大規模語言模型預訓練，多個任務共享該模型進行微調早已成為研究界熟悉的訓練范式了，商業上緊跟其后，也是預料之中。
對標GPT-3的LLM：Jurassic-1
盡管基于神經模型的方式獲得了令人印象深刻的性能，不過GPT-3在涉及到一些哪怕是很簡單的推理時也會犯一些低級錯誤，尤其涉及到比較復雜的語言描述，例如多個數相加；涉及到最新的消息，例如紐約現在的天氣。它僅僅從過去訓練好的數據中進行推斷天氣情況，難以遷移到新的場景下，而如果用更新的數據，則需要重新訓練模型，而這需要巨大的代價。
不同專家系統之間的連接
因此MRKL使用了代表當代AI在商業角度下的第三個趨勢——使用神經和符號結合的混合系統。MRKL融合了不同的模塊，有些模塊使用了深度學習，有些則使用符號推理模式的專家系統，例如直接從某些數據知識庫中進行檢索等模塊，來獲取更新的信息。
MRKL中一個出色的設計被稱作是路由（router）的模塊，它可以根據用戶的問題匹配一個專家系統：例如如果問題涉及到數學，它會轉向一個計算器，如果問題涉及到匯率，它會路由到一個匯率轉換器，如果是天氣的話，它會轉到一個天氣網站等等；如果路由對于問題不確定，它會先通過Jurassic-1等語言模型利用上下文推斷出應該轉向哪個專家模塊。
MRKL還采用了prompt tuning的方式對于模型的下游任務進行更新，如上述，這種方式避免了災難性遺忘的微調模式以及零樣本學習的低性能。與傳統的prompt tuning方式相比，Jurassic-X使用了更加精細的設計:（1）依賴于模型輸入的prompt學習方式。（2）檢索增強的prompt生成方式。（3）遞歸式地應用凍結了的LM模型。論文中做了更加詳細的技術介紹，感興趣的讀者可以直接閱讀論文。
MRKL中采用遞歸方式涉及prompt learning
博客中介紹了幾種MRKL的應用場景舉例，都是一些值得關注和實用的一些話題，涉及到方方面面可能出現在日常場景中的問題。
用人類語言去閱讀和更新數據庫
問題：買玫瑰味的洗發水
Jurassic-X會從人類語言中提取中關鍵信息，并從商店清單中去檢索產品，加入到購物車的數據庫中。這在智能助理，電子商務等都有應用前景。
對于當下問題的文本生成
問題：誰是當下的美國總統
Jurassic-X會融合當下及時更新的外部數據庫，例如維基百科去產生更及時的數據。
數學操作
問題：公司的655400份份額被94個員工平均分配，每個員工得到多少？
Jurassic-X會通過語言模型提出去關鍵信息，并且應該去尋找一個“數學專家”，也就是計算器，從而得出正確結果。
組合型問題
問題：更多的人住在Tel Aviv還是Berlin？
Jurassic會將組合型問題分解為若干子問題：Tel Aviv的人口是多少？Berlin人口是多少？哪個數字更大？等，解決了每個子問題后再把它們匯總在一起。更重要的是，這樣也增加了可解釋性，說明了模型給出答案的依據。
天氣、匯率等動態信息
問題：100美元可以換多少摩洛哥幣？
Jurassic會把語言模型和一些及時更新的知識庫融合在一起，從而容易獲取到實踐性敏感的動態信息。
透明性和可信性
問題：克林頓是否曾經當選過美國總統
這里涉及到Clinton的歧義問題，問題的答案取決于哪個Clinton，是Bill Clinton還是他的妻子。Jurassic-X可以做出更加明確、透明的回答，而其他神經模型則不行。
AI21實驗室位于以色列的一家自然語言處理的研究機構；它同時也是一個商業機構，旨在將現有的NLP技術快速部署到商業應用中。創始人包括從斯坦福大學退休了的人工智能教授Yoav Shoham；一家自動駕駛公司Mobileye的創始人Amnon Shashua，以及眾包平臺CrowdX創始人Ori Goshen。這家公司的口號是“重構人們的讀寫方式，朝向更美好的未來”（reimaging the way people read and write, for the better）。
https://fortune.com/2022/04/19/ai21-labs-mrkl-ultra-large-language-models-jurassic/
https://storage.cloud.google.com/ai21-public-data/publications/MRKL_paper.pdf
https://arxiv.org/pdf/2204.10019.pdf
雷峰網雷峰網(公眾號：雷峰網)
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
