0
剛剛，騰訊混元大模型公布最新進展：正式上線視頻生成能力，這是繼文生文、文生圖、3D生成之后的又一新里程碑。與此同時，騰訊開源該視頻生成大模型，參數量130億，是當前最大的視頻開源模型。
“用戶只需要輸入一段描述，即可生成視頻，”騰訊混元相關負責人透露，目前的生成視頻支持中英文雙語輸入、多種視頻尺寸以及多種視頻清晰度。目前該模型已上線騰訊元寶APP，用戶可在AI應用中的“AI視頻”板塊申請試用。企業客戶通過騰訊云提供服務接入，目前API同步開放內測申請。
通過騰訊元寶APP-AI應用-AI視頻即可使用該功能（前期需申請）
在與國內外多個頂尖模型的評測對比顯示，混元視頻生成模型在文本視頻一致性、運動質量和畫面質量多個維度效果領先，在人物、人造場所等場景下表現尤為出色。
騰訊混元視頻生成大模型制作出的視頻畫質很逼真，內容也與提示詞高度一致，確保畫面的流暢性，減少形變，甚至在提示詞是 emoji 表情的情況下，也可以穩定輸出。
例如，在處理沖浪、舞蹈等包含大幅度動作的場景時，該模型能夠生成流暢且合理的動作鏡頭，物體形變現象得到有效控制；在處理光影反射時，它能夠基本遵循物理規律，如在鏡面或照鏡子的場景中，能夠實現鏡內外動作的一致性。此外，該模型還能在保持畫面主角不變的情況下自動切換鏡頭，這是許多其他模型所不具備的高級功能。
視頻由騰訊混元視頻生成，提示詞：200mm長焦鏡頭，對準一只停在欄桿上的海鷗。羽毛的紋理清晰可辨，前景的木欄桿溫柔虛化。遠處的落日和海平面融化成金紅色的光影
視頻由騰訊混元視頻生成，提示詞：暴風雪中，一列蒸汽火車在崎嶇山間穿行，黑煙從車頭直沖云霄，車廂在皚皚白雪中留下深邃軌跡，鏡頭以側面追蹤，捕捉機械巨獸破開風雪的磅礴氣勢，白霧與蒸汽交織成壯麗畫卷，電影氛圍，遠景
視頻由騰訊混元視頻生成，提示詞：一個隱藏的瀑布流入清澈的池塘，周圍是高大的樹木和綠色植物。陽光穿過樹葉，在下面的巖石和水面上形成斑點。逼真，茂密森林中的寧靜瀑布，寧靜、陽光明媚的日子，中景
視頻由騰訊混元視頻生成，提示詞：一位戴著復古飛行護目鏡的機械師，半跪在蒸汽朋克風格的工作室里。她棕色卷發挽成發髻，零星的銀色發絲閃著金屬光澤。深棕色皮質工裝背帶褲上沾滿機油污漬，袖口卷起露出布滿齒輪紋身的手臂。特寫她正用黃銅工具調試一只機械鳥，齒輪間冒出縷縷蒸汽，工作臺上散落著銅管、發條和老式圖紙。
它采用了與Sora相似的DiT架構，并在此基礎上進行了多項優化。混元的視頻生成模型通過引入新一代的文本編碼器，顯著增強了對語義的理解和遵循能力，這使得它在處理多主體場景時能夠更加精確地執行指令并呈現細節；此外，該模型還采用了統一的全注意力機制，這不僅讓視頻幀之間的過渡更加自然，還實現了在保持主體一致性的前提下進行多視角切換；最后，混元通過采用先進的圖像視頻混合VAE技術（3D變分編碼器），在細節捕捉上取得了顯著進步，特別是在處理小尺寸人臉和快速運動鏡頭等復雜場景時表現尤為突出。
目前，騰訊宣布開源該視頻生成大模型已在 Hugging Face 平臺及 Github 上發布，包含模型權重、推理代碼、模型算法等完整模型，可供企業與個人開發者免費使用和開發生態插件。基于騰訊混元的開源模型，開發者及企業無需從頭訓練，即可直接用于推理，并可基于騰訊混元系列打造專屬應用及服務，能夠節約大量人力及算力，加速行業創新步伐。
據雷峰網(公眾號：雷峰網)了解，從年初以來，騰訊混元系列模型的開源速度不斷加快。此前，騰訊混元已經開源了旗下文生文、文生圖和3D生成大模型。至此，騰訊混元系列大模型已實現全面開源。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
