螞蟻集團官宣開源統一多模態大模型Ming-lite-omni

5月27日，在螞蟻技術日上，螞蟻集團旗下的百靈大模型（Ling）團隊宣布正式開源統一多模態大模型Ming-lite-omni。據螞蟻方面介紹，這是一款基于Ling-lite構建的MoE架構的全模態模型，其總參數22B，激活參數3B。 

據悉，Ming-lite-omni當前模型權重和推理代碼已開源，后續會陸續開源訓練代碼和訓練數據。

https://huggingface.co/inclusionAI/Ming-Lite-Omni

今年以來，百靈大模型已經連續開源了多個模型產品，包括2個MoE架構的大語言模型，Ling-lite和Ling-plus，多模態大模型Ming-lite-uni，以及Ming-lite-omni-preview。

其中，其中五月中旬開源了Ling-lite-1.5，據百靈方面介紹，“能力已經接近同水位SOTA水平，介于千問4B和8B的水平。”螞蟻方面稱，這兩個模型在多個算力平臺（包括非Hopper架構的國產算力）進行訓練，驗證了300B尺寸的SOTA MoE大語言模型在非高端算力平臺上訓練的可行性。

而本次開源的Ming-lite-omni產品在多項理解和生成能力評測中，性能與10B量級領先的多模態大模型相當或更優。螞蟻方面認為，這是目前已知首個在模態支持方面能夠與GPT-4o相媲美的開源模型。

百靈大模型負責人西亭對媒體表示，百靈大模型的命名規則是Ling代表基礎大模型，Ring代表推理版本，Ming代表多模態大模型。百靈在過去主要在幾個方面做了聚焦，一個是很早做MoE架構的探索，堅定的在語言大模型和多模態大模型上面統一使用了MoE的架構，同時使用了大量非高端的算力平臺，證明了國產GPU的“也能訓練出來可比擬GPT4o的模型”。其次，百靈很重視多模態領域的探索，一直在推進多模態的生成和理解的統一，而本次開源的Ming-lite-omin即是過去技術探索的成果。

百靈方面表示，團隊下一步將持續優化Ming-lite-omni在全模態理解和生成任務上的效果，并提升Ming-lite-omni的多模復雜推理能力；同時也會訓練更大尺寸的全模態模型Ming-plus-omni。此外，根據西亭透露， 百靈還在籌備Ling的Max版本，發布節點將會是“追尋跟（deepseek）V3的版本差不多的版本時開出去”。

（雷峰網(公眾號：雷峰網)）

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。