0
作者 | 青暮
編輯 | 岑峰
如今，深度學習再次向人類表明：計算機不是單純地復刻人類的思維邏輯并加速的機器，它也可以產生新的思維方式。
如果說圖像識別、機器翻譯、語音生成等等應用都還是小試牛刀，其表現都還在人類預料之中，那么百億甚至千億參數規模的預訓練模型展現的多任務能力，便是人類不斷地體會驚訝的開始，也是接近理解自身的開始。
難以想象，當初僅僅作為NLP子領域之一的自監督學習語言模型，卻在擴大了參數規模、采用了Transformer架構之后，在2018年橫掃11項NLP任務，成為AI社區人盡皆知、3年時間引用量接近3萬的BERT。
自那以后，基于預訓練構造大型語言模型便成為一種基本操作，這是大模型時代開始的標志。
到如今，作為AI的底座能力，大規模預訓練模型已成為全球AI領域的技術新高地。
12月8日，鵬城實驗室與百度聯合召開發布會，正式發布雙方共同研發的全球首個知識增強千億大模型——鵬城-百度·文心（模型版本號：ERNIE 3.0 Titan），該模型參數規模達到2600億，是目前全球最大中文單體模型，在60多項任務中取得最好效果。
同時，百度產業級知識增強大模型“文心”全景圖首次亮相。
中國工程院院士、鵬城實驗室主任高文，百度首席技術官王海峰聯合發布鵬城-百度·文心
目前，鵬城-百度·文心已在機器閱讀理解、文本分類、語義相似度計算等60多項任務中取得最好效果，并在30余項小樣本和零樣本任務上刷新基準。
在鵬城-百度·文心背后，得益于鵬城實驗室的算力系統 “鵬城云腦Ⅱ”和百度自研的深度學習平臺“飛槳”強強聯手，解決了超大模型訓練的多個公認技術難題，使鵬城-百度·文心訓練速度大幅提升，模型效果更優。
為解決大模型應用落地難題，百度團隊首創大模型在線蒸餾技術，模型參數壓縮率可達99.98%。
鵬城-百度·文心是百度文心“知識增強大模型”系列中十分重要的基礎通用大模型。
為推動技術創新和落地應用，百度文心既包含基礎通用的大模型，也包含了面向重點領域和重點任務的大模型，還提供豐富的工具與平臺，支撐企業與開發者進行高效便捷的應用開發。
文心全景圖
此次發布的鵬城-百度·文心在ERNIE 3.0基礎上全新升級，后者此前曾在國際權威的復雜語言理解任務評測SuperGLUE上超越谷歌的T5、OpenAI的GPT-3等大模型，以超越人類水平0.8個百分點的成績登頂全球榜首。
百度是業界少有的專注攻關知識增強型預訓練大模型的企業，有知識加持的文本數據自然讓模型更有內涵。此次升級的意義，不僅僅是簡單地放大參數量，在這背后支撐的是堅如磐石的根基——也就是基礎設施能力：鵬城實驗室的E級超算，以及飛槳的超大模型訓練與推理框架。
大規模預訓練語言模型的基本訓練方法是自監督學習，自監督學習語言模型的一般過程，是基于前文或上下文，來預測被掩蓋的單詞或短語，通俗來說就是做填空題。
為什么這樣的學習范式有效？用反事實學習的原理簡單理解就是，只要多試試一個單詞出現與否對另一個單詞出現與否的影響，就可以總結出兩者的關聯程度。
如果是在涉及現實知識的句子中訓練，語言模型也可以學到這些知識。社區中也出現了從預訓練語言模型中提取和構建知識圖譜的研究。但問題在于，從這些模型中提取出來的知識可靠度有限。
人們發現，預訓練語言模型傾向于依賴表面信號或統計線索來挖掘知識，并且可以很輕易地被愚弄，比如“鳥可以__”和“鳥不可以__”，模型都會輸出“飛”。這些模型學習到的，似乎更多是語法規則，而不是現實知識，比如給定一組概念 {狗, 飛盤, 抓住, 扔}，GPT2 會生成"狗將飛盤扔向足球運動員"，T5 生成“狗抓住了飛盤，并扔向足球運動員”，這兩者都不符合人類的常識。
這就向我們提出了這些問題：我們需要讓大模型做這種事嗎？現實知識的學習需要依靠大模型以外的手段嗎？大模型學不到現實知識嗎？
百度的回答是：需要；不需要；可以。
引入現實知識，一個比較基本的方法是在模型本身引入歸納偏置，比如引入了空間平移對稱性歸納偏置的多層感知機，就是卷積神經網絡。但這種操作過于基本，也就是在先驗地獲取現實知識的同時，會過早限制模型的通用性，同時在理論探索上也非常困難。
另一個比較直接的方法是，保留模型本身的通用性，在數據和任務上入手。我們之前提到，預訓練語言模型的一個缺點是，過分關注語法關聯，因為語法關聯在句子中出現最多，而對現實知識關聯關注過少。
這其實也是因為，人類很少在日常交互中，強調和重復已知的知識，我們對于“鳥拍打著翅膀在天空飛翔”中隱藏的知識“鳥會飛翔是因為有翅膀”不會太在意，也不會刻意去表達，因為太過習以為常，這也就使得這些知識很少出現在模型接觸的數據中。歸根結底，人類和語言模型接觸的并不是相同的數據源。
這種區別，就好像一個英語母語者可以輕易理解別人說的英語，而剛學習英語的中文母語者就需要字典的支持，字典凝結了大量的人類知識。
那么，為了學習現實知識，大模型需要什么樣的“字典”？
當然是，知識圖譜。
更加關注現實
知識增強建模方法
正如上圖所示，對于“《夜鶯》是丹麥作家安徒生唯一的以中國為背景的童話故事。”這句話，如果我們在輸入中加入“安徒生 作品 夜鶯”這樣的實體關系，就可以讓模型更多關注“作品”這樣的關系，而不局限于關注“是”、“唯一的”等等常見的關系類詞匯，從而對現實知識有更多的積累。
百度早就開始挖掘知識增強型預訓練模型的潛力，2019年3月，百度就已經發布了第一代知識增強的預訓練模型 ERNIE1.0。到今年7月，百度還訓練出了百億參數規模的知識增強型預訓練模型——ERNIE 3.0。這是當時業界首次在百億級預訓練模型中引入大規模知識圖譜。
這種方法被稱為平行預訓練方法（Universal Knowledge-Text Prediction），也就是將大規模知識圖譜的實體關系與大規模文本數據同時輸入到預訓練模型中進行聯合掩碼訓練。
這種做法可以促進結構化知識和無結構文本之間的信息共享，從而大幅提升模型對于知識的記憶和推理能力。
ERNIE 3.0在中文和英文數據集上均表現優越，其中在中文方面，ERNIE 3.0在54個數據集上均取得SOTA，同時零樣本能力表現優越，另外在英文方面，ERNIE 3.0在國際權威的復雜語言理解任務評測SuperGLUE上超越谷歌的T5、OpenAI的GPT-3等大模型，以超越人類水平0.8個百分點的成績登頂全球榜首。
通過知識圖譜的加持，ERNIE 3.0已經學富五車，但它的能力展現需要稍加克制，否則便顯得才華橫溢而又語無倫次。也就是說，ERNIE 3.0需要進行可控學習。
通過將模型預測出的文本屬性和原始文本進行拼接，構造從指定屬性生成對應文本的預訓練數據，模型通過對該數據的學習，實現不同類型的零樣本生成能力。用戶可以將指定的體裁、情感、長度、主題、關鍵詞等屬性自由組合，無需標注任何樣本，便可生成不同類型的文本。
另外，百度還提出了可信學習，讓ERNIE 3.0學習到的知識更加可靠。
具體來說，通過自監督的對抗訓練，讓模型學習區分數據是真實的還是模型偽造的，使得模型對生成結果真實性具備判斷能力，從而讓模型可以從多個候選中選擇最可靠的生成結果。
高可信的可控生成預訓練
學成出師的ERNIE 3.0，變得更加強大，和龐大——2600億參數的鵬城-百度·文心。
架構設計上，鵬城-百度·文心采用了雙層的語義表示，從而可以同時處理情感分析等語言理解任務，以及機器翻譯等語言生成任務。它還能做無標注數據的零樣本學習（Zero-shot Learning）和有標注數據的微調訓練（Fine-tuning）。
鵬城-百度·文心模型結構圖
目前，鵬城-百度·文心已在機器閱讀理解、文本分類、語義相似度計算等60多項任務中取得最好結果。
在落地場景應用中，模型僅利用少量標注數據甚至無需標注數據，就能解決新場景的任務已成為AI工業大生產的關鍵。鵬城-百度·文心在30余項小樣本和零樣本任務上均取得了最優效果。
鵬城-百度·文心小樣本學習效果
鵬城-百度·文心零樣本學習效果
傳統的機器學習或深度學習依賴海量的數據，樣本量過小容易過擬合，模型表達能力不足。但某些實際場景下樣本很難收集，小樣本學習致力于在數據資源比較稀少的情況下訓練出比較好的模型。
例如在醫學領域，部分罕見病例（或新型病例）的數據信息極少。可以利用小樣本學習能力的特點，針對性的解決這種病例。
從百億級到千億級的跨越，不是簡單的線性擴展過程。
正如摩爾定律在發展過程中，隨著器件尺寸越來越小，晶體管結構設計變得越來越重要，人們不再簡單粗暴地考慮尺寸縮小問題，而是耗費很大的成本去探索晶體管的新型材料、器件結構和工作原理，從而更好地控制其工作電流。
預訓練模型也是一樣。同時，不同于稀疏專家模型比如 Switch Transformer可以輕易地擴展到萬億參數規模，對于單體模型而言，擴展一個數量級也是非常困難的大工程。
一方面是并行策略。百億大模型的訓練一般用單臺V100就可以實現，采用數據并行可以進一步加速。但是，千億大模型是無法用單機負載的，比如對于2600億參數的鵬城-百度·文心，一般至少需要32臺V100才能負載，而這需要分布式訓練的算法來合理編排部署訓練模型。
而且，還需要混合使用多種分布式的并行策略，比如層內Tensor并行、層間流水線并行、數據并行、Shard數據并行、優化器并行，同時疊加offload策略、重計算策略。這要求深度學習框架能夠支持這些策略的靈活配置，保證收斂性的同時，讓用戶方便地使用這些算法。Paddle之前也曾就此提出4D訓練的概念，也就是混合并行的四個常見維度——層內、層間、數據、優化器。
另外一方面是收斂算法。模型越大，訓練成本越高，進而對模型的收斂效率的要求越高。比如鵬城-百度·文心在訓練過程中，就需要通過學習率預熱策略、漸進式學習策略以及優化的大批量（batch）優化策略，來實現模型的高效收斂，進而保證最終訓練效果。
而且，長時間的大規模訓練對集群穩定性和調度也是一個考驗。機器都是有出錯概率的，集群越大出錯的概率也就越大。而目前單體模型一般采用的高性能訓練模式中，只要單臺機器出錯就會影響整體過程，底層帶來的不穩定性會對訓練的進度和運維帶來直接的影響。Paddle和集群調度結合可以在訓練過程中屏蔽掉出錯的機器，減少因而造成的重新調度的時間損耗。
總之，訓練一個千億的大模型是對框架、算法、集群調度的全流程的一個考驗。
深度學習本身是一個工程性質很強的學科，而大模型訓練的第一步也正是：選擇正確的基礎設施。
因此，為了實現這次升級，百度在基礎設施上下了大功夫，而基礎設施的核心是算力以及訓練框架。
首先，在算力方面，鵬城-百度·文心模型基于百度百舸集群初始化，然后采用“鵬城云腦II”高性能集群訓練。
“鵬城云腦II”是由鵬城實驗室聯合國內優勢科研力量研發的我國首個國產自主E級AI算力平臺。在國際超算排行榜上，“鵬城云腦II”實力超群，曾兩奪IO 500總榜和10節點榜雙料冠軍，并在權威AI基準測試MLPerf和AIPerf也收獲頗豐，獲得多次榜單冠軍。
這些成績充分展現了“鵬城云腦II”優越的智能計算性能和軟硬件系統協同水平，也為鵬城-百度·文心大模型強大技術能力奠定基礎。
其次，在訓練框架方面，鵬城-百度·文心面臨著適配性問題。
超大規模模型的訓練和推理給深度學習框架帶來很大考驗，需要利用大規模集群分布式計算才能在可接受時間內完成訓練或推理的計算要求，同時面臨著模型參數量單機無法加載、多機通信負載重、并行效率低等難題。
早在今年四月，國產深度學習框架百度飛槳就發布了4D混合并行技術，可支持千億參數規模語言模型的高效分布式訓練。但鵬城-百度·文心的訓練任務對深度學習框架帶來了全新的挑戰。
分布式訓練的基本步驟有四個：分配所需資源；對 NN 模型進行分區；將每個分區分配給指定的設備；以特定順序獨立執行任務并進行必要的通信；并監控資源狀態，調整訓練流程。
分布式訓練的基本步驟
不同模型通常需要適配不同的并行策略，這些策略受到以上四個步驟，也就是：資源分配、模型分區、任務放置和分布式執行的影響。
但現有的框架通常因為專門性、啟發自受限的實踐、對并行性支持不足、與資源管理解耦等原因，導致無法實現端到端的分布式訓練，也就是無法在考慮以上所有步驟的情況下，進行全局優化。
具體而言，一方面，鵬城-百度·文心的模型結構設計引入諸多小形狀的張量計算，導致層間計算量差異較大，流水線負載不均衡；另一方面，“鵬城云腦II”的自有軟件棧需要深度學習框架高效深度適配，才能充分發揮其集群的領先算力優勢。
針對以上挑戰，并綜合考慮當前主流硬件、模型的特點與發展趨勢，飛槳設計并研發了具備更強擴展能力的端到端自適應大規模分布式訓練架構。
在這項研究中，百度從系統的端到端角度來設計分布式框架，通過考慮上圖中分布式訓練的所有基本步驟來滿足上述通用自適應要求。
架構圖概覽
首先，采用統一的分布式計算視圖和統一的異構資源視圖來表示任意的并行性和資源配置。然后，基于這兩種統一表示，開發了全局成本模型和全局規劃器。
在全局成本模型的驅動下，可以利用全局規劃器來根據給定的神經網絡模型和集群的配置自動選擇更好的并行策略，包括分區和放置決策。
許多研究表明，前向和后向計算的調度順序對性能和內存利用率都有比較大的影響。尤其是，對于分布式訓練來說，計算和通信盡可能地重疊以達到高水平的性能是極其重要的。
為此，團隊還優化了分布式異步執行器，它可以盡可能地自動重疊計算和通信，也就是盡可能減少同步化，并支持不同粒度和復雜的控制流。
最后，通過分布式訓練框架和平臺調度器之間更好的內置交互，來實現容錯和彈性的分布式訓練，從而提高整體資源利用率。當硬件故障、有空閑資源或資源緊張時， 彈性資源管理模塊能感知硬件資源變化，如故障、擴容、縮容，來自動重新構建資源視圖，并觸發飛槳框架的各個模塊來自動的做出反應，如模型切分、硬件映射、流水執行，在不中斷訓練的情況下，彈性調度集群可用資源，來進一步提升訓練的性能。
飛槳超大模型訓練框架
論文鏈接：https://arxiv.org/abs/2112.02752
模塊化或者解耦通常是為了更好的靈活性，但該架構的設計注意到了背后的基本原則：解耦只是一種實現相關模塊分離的機制，不應妨礙全局優化。
總體而言，該架構可以針對不同的模型和硬件，抽象成統一的分布式計算視圖和資源視圖，并通過硬件感知細粒度切分和映射功能，搜索出最優的模型切分和硬件組合策略，將數據、模型參數、梯度、優化器狀態按照最優策略分配到不同的計算卡上，達到節省存儲、負載均衡、提升訓練性能的目的；同時當資源變化時，整個框架的各個模塊能自動的做出反應。
飛槳自適應大規模分布式訓練架構使得鵬城-百度·文心的訓練性能較傳統分布式訓練方法提升了2.1倍，并行效率高達91.7%。此外，為進一步提高模型訓練的穩定性，飛槳的容錯功能，可以在不中斷訓練的情況下自動替換故障機器，加強模型訓練的魯棒性。
在推理方面，飛槳基于分布式推理框架Paddle Serving，通過多機多卡的張量模型并行、流水線并行等一系列優化技術，獲得最佳配比和最優吞吐。通過統一內存尋址（Unified Memory）、算子融合、模型IO優化、量化加速等方式，鵬城-百度·文心的推理速度得到進一步提升。
具備了內涵和根基的鵬城-百度·文心，大步走向現實應用。但在邁出這一步之前，百度還多考慮了一步。
眾所周知，大模型訓練、推理所消耗的資源極其昂貴和密集。
此前，Paddle Serving已提供了超大模型的高速推理方案，但為了進一步打造大模型時代的綠色落地方案，降低大模型成本應用成本，百度團隊首創大模型在線蒸餾技術。
在線蒸餾技術
通俗來說，這種蒸餾技術采用了“一師多徒”、“多代傳承”的形式。
具體而言，“一師多徒”技術在鵬城-百度·文心學習的過程中周期性地將知識信號傳遞給若干個學生模型同時訓練，達到蒸餾階段一次性產出多種尺寸的學生模型的目的。
相對傳統蒸餾技術，該技術極大節省了因大模型額外蒸餾計算以及多個學生的重復知識傳遞帶來的算力消耗問題。
這種新穎的蒸餾方式利用了鵬城-百度·文心規模優勢，在蒸餾完成后保證了學生模型的效果和尺寸豐富性，方便不同性能需求的應用場景使用。
此外，百度還發現，鵬城-百度·文心與學生模型尺寸差距千倍以上，模型蒸餾難度極大甚至失效。
為此，研究團隊引入了“多代傳承”，也就是助教模型進行蒸餾的技術，利用助教作為知識傳遞的橋梁以縮短學生模型和鵬城-百度·文心表達空間相距過大的問題，從而促進蒸餾效率的提升。
鵬城-百度·文心壓縮版模型效果
鵬城-百度·文心在線蒸餾方案的效果非常顯著，模型壓縮率達到99.98%。壓縮版模型僅保留0.02%參數卻能達到和原有模型相當的效果。相比直接訓練參數規模是自身2倍的BERT Base模型，鵬城-百度·文心在5項任務準確率上絕對提升了2.5%，而相對于同等規模的RoBERTa Base，準確率則絕對提升了3.4%。
大模型的開發和應用不僅僅關系到企業和用戶，它的影響邊界非常廣闊，涉及的人群也非常多樣，包括了：數據運維人員、模型研發人員、下游應用開發人員、軟件和硬件開發人員、領域專家等等，每個人都有責任讓大模型產生更好的社會價值。百度作為模型研發者這一角色，亦深刻意識到了自身的義務。
文心大模型也已通過百度飛槳平臺逐步對外開源開放，它代表著百度對人工智能下一代范式的展望——同質化。
如今，NLP 領域幾乎所有的 SOTA 模型都是少數幾個基于 Transformer 的大模型進化而來。
而在整個AI社區中，一場范式轉變正在蔓延。隨著BERT、GPT-3、DALL-E等大規模預訓練模型相繼出現，人們意識到，大模型似乎就相當于通用模型。無論是圖像、語音還是蛋白質序列預測，都在見證這場范式轉變——同質化。
這種圖景似乎指向了認知科學中一個非常著名的概念——全局工作空間理論（GWT）。GWT是一種意識模型，最初由美國心理學家Bernard J. Baars等人提出，是當代主要的神經科學意識理論之一。
該理論提議將大腦分為執行不同功能的專用模塊，模塊與模塊之間具有長距離連接。通過注意選擇的過程確定輸入或任務要求后，專用模塊內的信息可以在不同模塊之間傳播與共享。
而基于深度學習大模型的通用性，來實現GWT似乎已經不再遙不可及。近年來有論文曾提出，可以通過深度學習“全局隱工作空間”將不同的專用預訓練網絡關聯起來，并通過Transformer的注意力機制進行選擇性關聯。
這些專用網絡可能涉及：感知（物體識別，檢測，分割，語音識別...），運動（機器人手臂控制，語音生成…），語言（文本理解，機器翻譯，文本-語音轉換...），記憶存儲，或更高級別的與認知和行為相關的功能（直觀物理引擎，RL策略，任務嵌入...）。
在這個多模態專家網絡族群中，百度的足跡已經不止于語言、知識，也跨越到了圖像領域。
2020年7月，百度提出了知識增強視覺-語言預訓練模型 ERNIE-ViL，首次將場景圖（Scene Graph）知識融入多模態預訓練。
本次發布的鵬城-百度·文心將進一步解決 AI 技術在應用中缺乏領域和場景化數據等關鍵難題，降低門檻，加快人工智能大規模產業應用。
雷峰網(公眾號：雷峰網)雷峰網雷峰網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
