0
AI 能不能真正“動(dòng)腦子”？這個(gè)問題有了新答案。
螞蟻開源團(tuán)隊(duì)推出的 Ring-1T 模型，為這個(gè)長(zhǎng)期存在的疑問提供了最具說(shuō)服力的實(shí)證。不同于以往依賴海量數(shù)據(jù)“記憶”答案的語(yǔ)言模型，Ring-1T 試圖讓 AI 在復(fù)雜問題中真正“推理”出答案。
它通過強(qiáng)化學(xué)習(xí)與多階段推理機(jī)制的結(jié)合，使模型能夠在反饋中不斷修正思路、優(yōu)化邏輯路徑，逐步形成更穩(wěn)定、更接近人類思維的推理模式。
正是這種從“模仿”到“思考”的轉(zhuǎn)變，讓 Ring-1T 成為開源 AI 領(lǐng)域的一次里程碑式突破。接下來(lái)，讓我們看看這項(xiàng)研究是如何實(shí)現(xiàn)的。
論文地址：https://arxiv.org/pdf/2510.18855
實(shí)驗(yàn)中 Ring-1T 模型在多個(gè)高難度推理與數(shù)學(xué)基準(zhǔn)上進(jìn)行了系統(tǒng)性評(píng)估，都取得了突破性的實(shí)驗(yàn)成果。作為一個(gè)開源的萬(wàn)億參數(shù)思考型模型，Ring-1T 分別在推理、數(shù)學(xué)、編程及通用智能任務(wù)上均展現(xiàn)出卓越的綜合能力。
在數(shù)學(xué)推理能力方面，Ring-1T 在 AIME-2025中取得 93.4 分的成績(jī)，接近人類頂尖選手水平；在 HMMT-2025 中得分 86.72，顯示其在跨領(lǐng)域數(shù)學(xué)推理與高復(fù)雜度邏輯演算中的強(qiáng)大能力；在 IMO-2025 模擬評(píng)測(cè)中達(dá)到銀牌水平，證明模型能夠在需要多步推理與創(chuàng)造性證明的問題中保持高準(zhǔn)確率和穩(wěn)定性。
在編程與算法能力上，模型在 Codeforces 平臺(tái)測(cè)試中獲得 2088 分，達(dá)到人類程序員的高水平區(qū)間。這表明 Ring-1T 不僅能夠理解算法邏輯，還能在有限時(shí)間內(nèi)生成高效、可執(zhí)行的代碼，具備良好的算法復(fù)雜度控制與問題分解能力。
在通用智能推理任務(wù)中，Ring-1T 在 ARC-AGI-v1 中取得 55.94 分，顯著超越此前開源模型的平均表現(xiàn)。該結(jié)果表明，模型在抽象模式識(shí)別、思維遷移與多步認(rèn)知推理方面具備接近通用人工智能的潛力。
總體而言，Ring-1T 在各項(xiàng)基準(zhǔn)測(cè)試中表現(xiàn)出優(yōu)異的穩(wěn)定性與一致性，尤其在復(fù)雜推理與多步邏輯任務(wù)中未出現(xiàn)顯著性能退化。與此前主要停留在百億或千億參數(shù)規(guī)模的開源模型相比，Ring-1T 在數(shù)學(xué)、推理與算法任務(wù)上全面刷新了開源模型的性能上限，成為新一代開源思考型模型的性能基準(zhǔn)。
實(shí)驗(yàn)結(jié)果還表明，該模型的高性能得益于論文提出的三項(xiàng)關(guān)鍵技術(shù)：
IcePop 旨在提升強(qiáng)化學(xué)習(xí)訓(xùn)練的穩(wěn)定性，解決訓(xùn)練與推理分布不一致的問題。它通過動(dòng)態(tài)約束與梯度剪切，限制高熵樣本的影響，并自適應(yīng)調(diào)整溫度參數(shù)，使模型在保持探索性的同時(shí)更穩(wěn)定收斂，從而提高推理階段的可靠性。
C3PO++ 專注于提升長(zhǎng)序列推理和大規(guī)模 rollout 的效率。該方法采用動(dòng)態(tài)分區(qū)和 token 預(yù)算機(jī)制，將推理過程劃分為多個(gè)小批次，并利用持久化緩沖區(qū)續(xù)傳未完成任務(wù)，有效提升 GPU 利用率和整體訓(xùn)練吞吐量。
而 ASystem 則是支撐萬(wàn)億參數(shù)強(qiáng)化學(xué)習(xí)的分布式架構(gòu)。它整合統(tǒng)一的訓(xùn)練與推理運(yùn)行時(shí)、高效的顯存管理、快速的參數(shù)同步以及安全的隔離執(zhí)行環(huán)境，使大規(guī)模模型訓(xùn)練具備更高的并行性、穩(wěn)定性與容錯(cuò)性。
論文中體現(xiàn)的實(shí)驗(yàn)過程，主要以 Ring-1T 思考型模型 為研究對(duì)象，研究人員設(shè)計(jì)了分階段的訓(xùn)練體系，包括 監(jiān)督微調(diào)（SFT）、推理強(qiáng)化學(xué)習(xí)（Reasoning RL） 和 通用強(qiáng)化學(xué)習(xí)（General RL）。研究的主要突破集中在后兩個(gè)階段，通過引入 IcePop、C3PO++ 與 ASystem 等方法，實(shí)現(xiàn)了在大規(guī)模強(qiáng)化學(xué)習(xí)中的穩(wěn)定訓(xùn)練與高效推理。
實(shí)驗(yàn)中，Ring-1T 模型的訓(xùn)練過程經(jīng)過精心設(shè)計(jì)，以在萬(wàn)億參數(shù)規(guī)模下同時(shí)保證穩(wěn)定性和效率。團(tuán)隊(duì)在訓(xùn)練時(shí)采用 AdamW 優(yōu)化器，其超參數(shù)設(shè)定為 β?=0.9、β?=0.999，權(quán)重衰減為 0.01；同時(shí)固定了 MoE路由器的偏置項(xiàng)，以保持參數(shù)更新的穩(wěn)定。推理與采樣階段的設(shè)置在兩個(gè)強(qiáng)化學(xué)習(xí)階段中保持一致，KL 系數(shù)設(shè)為 0.0，采樣溫度為 1.0，以減少訓(xùn)練階段與推理階段分布不一致帶來(lái)的偏差。
在強(qiáng)化學(xué)習(xí)階段，Ring-1T 的性能提升主要依賴兩項(xiàng)關(guān)鍵技術(shù)：IcePop 和 C3PO++。其中，IcePop 的目標(biāo)是讓訓(xùn)練過程更加穩(wěn)定，避免模型在訓(xùn)練和推理階段出現(xiàn)表現(xiàn)不一致的情況。
簡(jiǎn)單來(lái)說(shuō)，它會(huì)在每次更新模型參數(shù)時(shí)，對(duì)不穩(wěn)定或異常的樣本進(jìn)行“篩選”和“削弱”。具體做法是：計(jì)算訓(xùn)練階段與推理階段之間的概率差異，如果某個(gè) token 的概率偏離太大，就會(huì)被部分“掩蓋”或降低權(quán)重。這樣可以防止模型在訓(xùn)練中因?yàn)闃O端樣本而產(chǎn)生劇烈波動(dòng)。
除此之外，IcePop 采用了參數(shù) α=0.5、β=5.0 的范圍，也就是只讓概率比值處于 [0.5, 5.0] 的樣本參與優(yōu)化。研究人員還測(cè)試了不同范圍的配置（如 [0.5, 2.0]、[0.4, 5.0]），結(jié)果表明默認(rèn)參數(shù)在訓(xùn)練穩(wěn)定性與性能之間達(dá)到了平衡。
而之后的 C3PO++ 則負(fù)責(zé)優(yōu)化 rollout 過程，使訓(xùn)練在大規(guī)模分布式環(huán)境下更加高效，特別是在處理超長(zhǎng)序列時(shí)。傳統(tǒng)方法在遇到很長(zhǎng)的推理樣本時(shí)會(huì)拖慢整個(gè)訓(xùn)練進(jìn)程，而 C3PO++ 通過“分段訓(xùn)練”和“并行續(xù)傳”的方式解決了這個(gè)問題。
它設(shè)置了一個(gè) token 預(yù)算（Φ），當(dāng)生成的 token 數(shù)達(dá)到預(yù)算上限時(shí)，就會(huì)立即觸發(fā)一次更新。系統(tǒng)分為兩個(gè)池子：推理池（P_infer） 不斷生成新樣本，訓(xùn)練池（Q_train） 收集已經(jīng)生成完成的樣本并進(jìn)行更新，這樣推理和訓(xùn)練就可以同時(shí)進(jìn)行。
為了防止某些特別長(zhǎng)的序列占用資源，C3PO++ 還給每個(gè)樣本設(shè)定了一個(gè) 保留期（σ），超時(shí)未完成的樣本會(huì)被清除。而那些還沒生成完的樣本則會(huì)在下一輪繼續(xù)生成（即“跨迭代續(xù)傳”）。通過這些機(jī)制，C3PO++ 能讓訓(xùn)練過程更加流暢高效，不會(huì)因?yàn)閭€(gè)別長(zhǎng)樣本卡住整個(gè)系統(tǒng)。
總體來(lái)說(shuō)，IcePop 讓訓(xùn)練更穩(wěn)，C3PO++ 讓訓(xùn)練更快，兩者結(jié)合，使 Ring-1T 能在萬(wàn)億參數(shù)規(guī)模下保持高效、穩(wěn)定的強(qiáng)化學(xué)習(xí)表現(xiàn)。
除此之外，為了讓萬(wàn)億參數(shù)的 Ring-1T 模型能夠高效穩(wěn)定地進(jìn)行訓(xùn)練，研究團(tuán)隊(duì)還專門設(shè)計(jì)了一個(gè)分布式強(qiáng)化學(xué)習(xí)系統(tǒng)—— ASystem。它的核心目標(biāo)是：在海量 GPU 和超大模型的條件下，讓訓(xùn)練、推理和參數(shù)更新能夠同時(shí)、高效地進(jìn)行，而不會(huì)因?yàn)橄到y(tǒng)瓶頸導(dǎo)致中斷或效率下降。
ASystem 采用一種叫 SingleController + SPMD 的并行架構(gòu)。簡(jiǎn)單來(lái)說(shuō)，就是用一個(gè)中央控制器來(lái)統(tǒng)一調(diào)度成千上萬(wàn)的計(jì)算節(jié)點(diǎn)，讓每個(gè)節(jié)點(diǎn)都執(zhí)行相同的訓(xùn)練流程，從而保證全系統(tǒng)的同步與高效協(xié)作。
整個(gè)系統(tǒng)由四個(gè)主要模塊組成：
Hybrid Runtime：這是訓(xùn)練和推理的統(tǒng)一執(zhí)行環(huán)境，負(fù)責(zé)同時(shí)管理模型訓(xùn)練和模型測(cè)試的計(jì)算任務(wù)，避免不同系統(tǒng)之間反復(fù)傳輸數(shù)據(jù)。
AMem：負(fù)責(zé) GPU 顯存的管理和數(shù)據(jù)傳輸。它可以在不同顯卡之間切換內(nèi)存、使用多條數(shù)據(jù)通道傳輸信息，并通過共享內(nèi)存池減少顯存占用，從而支持更大的批量訓(xùn)練而不會(huì)崩潰。
AState：負(fù)責(zé)在不同計(jì)算節(jié)點(diǎn)之間同步模型參數(shù)。它采用點(diǎn)對(duì)點(diǎn)（P2P）的高效傳輸方式，只同步必要的部分，能在大約 10 秒內(nèi)完成萬(wàn)億級(jí)參數(shù)的同步。
ASandbox：相當(dāng)于一個(gè)安全的“實(shí)驗(yàn)沙盒”，用于執(zhí)行代碼生成、數(shù)學(xué)計(jì)算和邏輯驗(yàn)證等推理任務(wù)。它像“函數(shù)即服務(wù)”一樣，可以在隔離環(huán)境中同時(shí)運(yùn)行成千上萬(wàn)個(gè)推理請(qǐng)求。
在系統(tǒng)設(shè)計(jì)上，ASystem 將控制邏輯和數(shù)據(jù)流分離，使訓(xùn)練、推理和獎(jiǎng)勵(lì)計(jì)算模塊都能獨(dú)立運(yùn)行。它還具有“快速失敗與自動(dòng)恢復(fù)”機(jī)制：如果某個(gè)節(jié)點(diǎn)出現(xiàn)問題，系統(tǒng)能自動(dòng)檢測(cè)并恢復(fù)運(yùn)行，而不會(huì)影響整體訓(xùn)練進(jìn)度。
通過這些設(shè)計(jì)，ASystem 讓 Ring-1T 能夠在成千 GPU 的大規(guī)模環(huán)境中穩(wěn)定運(yùn)行，實(shí)現(xiàn)高吞吐、高可靠的強(qiáng)化學(xué)習(xí)訓(xùn)練。雷峰網(wǎng)
過去的模型大多依賴數(shù)據(jù)去模仿人類答案，但面對(duì)復(fù)雜推理或邏輯問題時(shí)容易出錯(cuò)。Ring-1T 的研究探索了一種新的思路 —— 通過強(qiáng)化學(xué)習(xí)讓模型在反饋中不斷調(diào)整自己的思考方式，逐步形成更穩(wěn)定、更清晰的推理能力。
它的另一個(gè)意義在于證明了超大規(guī)模強(qiáng)化學(xué)習(xí)是可以實(shí)現(xiàn)的。以前這種規(guī)模的模型常常訓(xùn)練不穩(wěn)、成本高、容易崩潰，而這項(xiàng)研究用新的算法和系統(tǒng)設(shè)計(jì)，找到了一種讓萬(wàn)億參數(shù)模型穩(wěn)定訓(xùn)練的方法。這為后續(xù)更復(fù)雜、更自主的模型研究提供了可操作的經(jīng)驗(yàn)。
從更長(zhǎng)遠(yuǎn)的角度看，這項(xiàng)工作也讓開源模型有機(jī)會(huì)在高層次智能上追上閉源系統(tǒng)。它或許不只是一次技術(shù)升級(jí)，而是讓智能研究變得更開放、更有延續(xù)性的一步。雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
