聲明:本文來自于（ID:ykqsd.com）授權(quán)轉(zhuǎn)載發(fā)布。

新智元的報道

1. 撰文人：喬楊

2. 【新智元導(dǎo)讀】大模型在處理復(fù)雜的推理任務(wù)時往往顯得力不從心。近期，來自美國卡內(nèi)基梅隆大學(xué)等高校的3位華裔學(xué)者提出了一種新的方法，即批判式監(jiān)督微調(diào)（CFT），僅在50K樣本上訓(xùn)練，便在多數(shù)基準(zhǔn)測試中超越了使用超過200萬個樣本的強(qiáng)化學(xué)習(xí)方法。

3. 普通語言模型在模仿人類行為方面主要依賴于監(jiān)督微調(diào)（SFT）。LLM在解決現(xiàn)實世界問題的性能之所以突飛猛進(jìn)，與監(jiān)督微調(diào)技術(shù)的支撐密不可分。

4. 在SFT的過程中，模型被要求模仿人類標(biāo)注或合成的高質(zhì)量回復(fù)，以增強(qiáng)其遵循指令的能力。這類監(jiān)督微調(diào)數(shù)據(jù)集通常基于Self-Instruct和Evol-Instruct等方法構(gòu)建。

5. 不過，這種方法存在明顯的局限性。當(dāng)監(jiān)督微調(diào)的效果已經(jīng)較為理想時，繼續(xù)采用這一方法可能會降低模型性能。

6. 為了突破這一局限，近期，美國卡內(nèi)基梅隆大學(xué)、滑鐵盧大學(xué)等高校的3位華裔學(xué)者發(fā)表了一篇論文，提出了批判式監(jiān)督微調(diào)方法（CFT，Critique Fine-Tuning）。該方法旨在通過批判性的學(xué)習(xí)方式，使模型更有效地模仿數(shù)據(jù)集。

7. 論文鏈接：https://arxiv.org/pdf/2501.17703

8. 批判式監(jiān)督微調(diào)：讓SFT重新偉大

9. CFT將重點從簡單模仿轉(zhuǎn)向基于批判的學(xué)習(xí)，核心思想是讓模型學(xué)會批判，而不是簡單地模仿，其靈感來源于人類的學(xué)習(xí)過程。

學(xué)霸群體在學(xué)習(xí)過程中不僅進(jìn)行答案的復(fù)制，而是通過分析、批判和優(yōu)化自己的解題方法。同樣，在CFT數(shù)據(jù)集中，為錯誤的回答提供具體的批評，以便模型能夠識別問題所在，并提出改進(jìn)建議以驗證其正確性。

這種方法不僅有助于提升模型的推理能力，還能使其在處理復(fù)雜任務(wù)時表現(xiàn)出更強(qiáng)的適應(yīng)性和靈活性。

例如，針對如下問題：在一個直角三角形中，兩條直角邊的長度分別為3個單位和4個單位，構(gòu)造一個正方形。求五邊形$ABCDE$的面積（單位：平方單位）。

在SFT模式下，模型會逐步進(jìn)行運(yùn)算，首先運(yùn)用勾股定理計算出斜邊長度為5個單位，接著計算正方形的面積為25平方單位，以及三角形的面積為6平方單位。最后，模型給出的答案是25-6=19平方單位。

而在CFT模式下，模型會對上述答案進(jìn)行批評，指出錯誤在于應(yīng)該加上而非減去三角形的面積，因此正確答案應(yīng)為25+6=31平方單位。

如圖所示，展示的是典型的SFT和CFT數(shù)據(jù)樣例。

SFT模式下，模型直接模仿答案的結(jié)構(gòu)和形式；而CFT模式下，模型不僅模仿答案，還會模仿對錯誤答案的批評過程。

CFT模式下的訓(xùn)練效率顯著高于SFT模式。

那么，如何獲取CFT訓(xùn)練所需的數(shù)據(jù)呢？

該研究基于WebInstruct平臺，構(gòu)建了一個包含50,000個問答對的數(shù)據(jù)集，其中的每一個問題都附帶了來自高級模型（如GPT-4）生成的批評意見。例如，上述的數(shù)學(xué)問題就是一個樣本。這些數(shù)據(jù)主要集中在數(shù)學(xué)領(lǐng)域（占65%），但也涵蓋了物理、化學(xué)、商業(yè)等多個主題。

CFT數(shù)據(jù)集與SFT數(shù)據(jù)集進(jìn)行了對比實驗

在完成CFT數(shù)據(jù)集的訓(xùn)練后，使用未經(jīng)過指令微調(diào)的7B規(guī)模LLM進(jìn)行模型構(gòu)建，具體包括DeepSeekMath-base、Qwen2.5和Qwen2.5-Math等模型。

CFT方法的訓(xùn)練目標(biāo)非常明確：將問題x與錯誤回答y進(jìn)行拼接作為輸入，優(yōu)化模型參數(shù)以生成評論c，這一過程相當(dāng)于訓(xùn)練模型具備批判性思維能力。

實驗結(jié)果表明，經(jīng)過指令微調(diào)與批判性微調(diào)的LLM在數(shù)學(xué)推理基準(zhǔn)測試中均表現(xiàn)出色。具體而言，CFT訓(xùn)練的模型在各項評估指標(biāo)上均優(yōu)于SFT訓(xùn)練的最佳模型。

與SFT方法相比，CFT的準(zhǔn)確率平均提升了4-10個百分點。值得注意的是，CFT方法的訓(xùn)練效率更高，在更少的訓(xùn)練數(shù)據(jù)量下實現(xiàn)了更快的收斂速度，這為開發(fā)高效數(shù)學(xué)推理模型提供了新思路。

通過動態(tài)訓(xùn)練曲線圖可以看出，CFT方法在各階段的性能提升顯著，尤其是在處理復(fù)雜數(shù)學(xué)問題時展現(xiàn)出更強(qiáng)的泛化能力。

無論是在哪種數(shù)據(jù)集或任務(wù)場景下，CFT方法都能展現(xiàn)出卓越的性能，尤其是在處理多模態(tài)推理任務(wù)時表現(xiàn)尤為突出。

對比實驗結(jié)果表明，CFT模型在多個關(guān)鍵指標(biāo)上均優(yōu)于其他主流模型，尤其是在數(shù)學(xué)推理和邏輯分析任務(wù)上表現(xiàn)尤為出色。

在對比實驗中，Qwen2.5-Math-7B-CFT模型的平均表現(xiàn)（48.1%）甚至超過了參數(shù)量10倍的Llama-3.1-70B-Instruct（40.4%）和NuminaMath-72B-CoT（39.1%），在與Qwen2.5-Math-72B-Instruct（56.4%）的對比中，其性能表現(xiàn)也非常接近。

通過對比實驗結(jié)果可以看出，CFT模型在多個關(guān)鍵指標(biāo)上均優(yōu)于其他主流模型，尤其是在數(shù)學(xué)推理和邏輯分析任務(wù)上表現(xiàn)尤為突出。

此外，基于CFT訓(xùn)練的模型在性能上與采用140倍計算資源訓(xùn)練的SimpleRL模型（Deepseek R1的公開版）相當(dāng)，其GPU使用時長減少至原來的1/144，顯著降低了計算成本。

研究者對CFT的多個關(guān)鍵因素進(jìn)行了消融測試。結(jié)果表明，CFT在數(shù)據(jù)來源、噪聲響應(yīng)以及教師批判模型等方面具有較強(qiáng)的魯棒性。

例如，即使使用較弱的GPT-4o-mini模型生成批評意見，CFT依然能夠顯著提升模型性能。

局限與擴(kuò)展

在CFT訓(xùn)練數(shù)據(jù)集中，作為基準(zhǔn)的批評數(shù)據(jù)全部由LLM生成。經(jīng)過作者的手動審查（共50例），發(fā)現(xiàn)其中有20%的批評意見本身就包含明顯錯誤。這些錯誤可能對模型訓(xùn)練產(chǎn)生一定干擾，影響其最終效果。

此外，當(dāng)前CFT訓(xùn)練的模型尚無法進(jìn)行自我批評，因此目前尚未觀察到自我改進(jìn)的現(xiàn)象。

該研究使用的數(shù)據(jù)集在代表性方面仍有待加強(qiáng)，目前僅聚焦于數(shù)學(xué)問題，對于編程、科學(xué)推理或人文推理等領(lǐng)域的問題，是否能夠采用類似CFT的方法進(jìn)行訓(xùn)練，仍需進(jìn)一步探索。

CFT的優(yōu)勢在于顯著提升模型推理能力的同時，實現(xiàn)了對訓(xùn)練數(shù)據(jù)的高效利用。通過模型學(xué)會批判性思維，相當(dāng)于讓大模型完成一次強(qiáng)化學(xué)習(xí)任務(wù)。

相較于現(xiàn)有的自我修正（Self-Correlation）、獎勵模型（Reward Models）等方法，CFT的目標(biāo)是通過批判學(xué)習(xí)提升模型對問題的深入理解，而非直接估計獎勵分?jǐn)?shù)或進(jìn)行自我修正。這種方法在推理任務(wù)中展現(xiàn)出更強(qiáng)的適應(yīng)性和靈活性。

更為關(guān)鍵的是，CFT的數(shù)據(jù)構(gòu)建和訓(xùn)練流程相對簡單，計算成本較低，在實際應(yīng)用中具有較高的可行性和經(jīng)濟(jì)性。未來研究將致力于提升批判數(shù)據(jù)質(zhì)量，并探索模型自我批判機(jī)制的實現(xiàn)路徑。

首先，我們致力于構(gòu)建自動驗證工具或設(shè)計人類可驗證的批判數(shù)據(jù)集，以期進(jìn)一步優(yōu)化批判數(shù)據(jù)的質(zhì)量。然而，要使大模型具備自我批判能力并實現(xiàn)持續(xù)改進(jìn)，關(guān)鍵在于通過用戶反饋機(jī)制，使模型能夠持續(xù)學(xué)習(xí)和優(yōu)化自身。

此外，未來的研究可能探索將CFT與SFT和RL等其他訓(xùn)練范式相結(jié)合，擴(kuò)展其在多模態(tài)環(huán)境中的應(yīng)用，并深入研究其理論基礎(chǔ)。

注：參考資料：

https://arxiv.org/pdf/2501.17703