0
| 本文作者： 我在思考中 | 2022-04-11 10:49 |
Transformer的提出距離我們已經有5年的時間，隨著模型規模的不斷增長，性能提升也逐漸出現邊際效益遞減的情況。如何訓練出最優性能的大模型？
最近，DeepMind做了一項調查，想弄清AI語言模型的規模和token之間的關系。這個小組訓練了超過400個模型，規模從7000萬參數到160億參數不等，token數量從50億到5000億不等。
該小組發現，模型參數大小和token的數量成正相關，換句話說，當模型規模加倍的時候，token也應該加倍。
目前確實是大模型時代，自從1750億參數的GPT-3橫空出世時，勾起了研究員的興趣。近兩年的時間，業界陸續推出了好幾個模型，且一個比一個大，并且在多數任務上獲得了令人令人深刻的性能。
但這種超越認知的性能表現，是以巨大的計算和能源消耗為代價，業界也一直在討論這種代價是否值得。例如前谷歌研究員Timnit Gebru就曾撰寫論文討論“AI 語言模型是否太大以及科技公司在降低潛在風險方面做得是否足夠。”她也因為該論文被谷歌解雇。
大模型的訓練預算一般是提前計劃好的，畢竟訓練一次成本太大。因此，在給定預算的條件下，準確估計最佳模型超參數變得非常關鍵。之前，也有學者已經證明參數的數量和自回歸語言模型（autoregressive language model）的性能之間存在冪律關系。
例如先前的研究表明，10倍計算預算對應增加5.5倍模型規模，以及1.8倍的token數量。但這項研究表明：模型大小和token的數量應該成等比例增長。
此外，研究員還預測，對于訓練Gopher（2800億個參數的語言模型），最佳模型應該小4倍，并且應該在大4倍的token上進行訓練。這一預測，在包含1.4萬億個token的 Chinchilla中的訓練得到驗證。Chincilla的性能優于Gopher，由于模型規模減小，推理成本也更低。
大模型只有在大數據集上才能發揮最大的效力，同時，DeepMind也注意到，處理大數據集時需要格外小心，訓練集和測試集的合理劃分，才能最小化語言建模損失以及最優賦能下游任務。
研究界必須考慮與此類大型模型相關的倫理和隱私問題。正如過去所討論：從網絡上收集的大型數據集包含有毒的語言、偏見和私人信息。
關于大模型如何更高效的問題，近日，清華大學劉知遠從模型架構層面也提出了看法《清華劉知遠：大模型「十問」，尋找新范式下的研究方向》，他表示：
隨著大模型越變越大，對計算和存儲成本的消耗自然也越來越大。最近有人提出GreenAI的概念，即需要考慮計算能耗的情況來綜合設計和訓練人工智能模型。面向這個問題，我們認為，隨著模型變大，AI會越來越需要跟計算機系統進行結合，從而提出一個更高效面向大模型的支持體系。一方面，我們需要去建設更加高效分布式訓練的算法，在這方面國內外都有非常多的相關探索，包括國際上比較有名的DeepSpeed 以及悟道團隊在開發的一些加速算法。
另一個方面，大模型一旦訓練好去使用時，模型的“大”會讓推理過程變得十分緩慢，因此另外一個前沿方向就是如何高效將模型進行盡可能的壓縮，在加速推理的同時保持它的效果。這方面的主要技術路線包括剪枝、蒸餾、量化等等。同時最近我們發現，大模型里面具有非常強的稀疏發放的現象，這對于模型的高效壓縮和計算有著非常大的幫助，這方面需要一些專門算法的支持。
雷峰網(公眾號：雷峰網)
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
