0
1月12日，阿里巴巴、智源研究院、清華大學等聯合研究團隊發布面向認知的超大規模新型預訓練模型“文匯”。該模型不僅能提升AI的理解能力，還可基于常識實現AI創作，未來將應用于文本理解、人機交互、視覺問答等場景。
與傳統AI訓練需要人工標注數據不同，面向認知的預訓練語言模型提供了一種全新的學習思路，即AI首先自動學習大量語言文字和圖像數據，記憶和理解其中的信息以及人類語言表述的規律后，再進一步學習專業領域知識，從而讓AI同時掌握常識和專業知識。
此次發布的“文匯”是目前國內規模最大的預訓練模型，參數量級達113億，采用阿里自研的統一多種并行策略的高性能分布式框架，使用模型并行、流水并行、數據并行訓練進行分布式訓練。“文匯”突破了多模態理解與多模態生成兩大難題，可輕松理解文本圖像信息，并能完成創造性任務。例如，僅需輸入詩歌題目、朝代以及作者，“文匯”即可自動生成仿古詩詞。目前，“文匯”已支持基于認知推理的多種自然語言及跨模態應用任務，部分應用即將上線。
模型可根據詩歌題目、朝代以及作者自動生成詩歌
達摩院2020十大科技趨勢曾提到：AI已經在“聽、說、看”等感知智能領域達到或超越了人類水準，但其邏輯推理能力依舊處于初級階段，多模態預訓練模型是實現感知智能向認知智能跨越的關鍵基礎。達摩院智能計算實驗室負責人周靖人表示，“預訓練語言模型是過去70多年以來最具創新的自然語言模型之一，其模型設計難度也遠高于傳統模型，達摩院研究團隊將持續攻克算法及系統工程難題，加速人工智能走向認知智能。”
作為國內最早投入認知智能研究的科技公司之一，阿里巴巴已有30多個研究成果被國際頂級會議收錄，獲得世界人工智能大會最高獎項—SAIL獎，與清華大學聯合獲得國家科學技術進步獎二等獎，旗下圖神經網絡框架Graph Learn已面向全球開源，可減少模型的算力、存儲資源消耗，同時縮短算法開發上線周期。
雷鋒網雷鋒網
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
