AI Tutorial
Generative AI·生成式 AI·

🧬 大型語言模型的學習歷程：預訓練、SFT 與 RLHF

#LLM#預訓練#SFT#RLHF#李宏毅

課程來源： 台大李宏毅《生成式人工智慧與機器學習導論》2025 Fall 第7講
影片連結： YouTube（約 1 小時 58 分）
投影片： LLMtraining.pdf

#一、核心觀念：標準三階段學習

現在的大型語言模型（ChatGPT、Gemini、Claude 等）幾乎都遵循以下三階段訓練流程：

階段名稱英文全名比喻
1預訓練Pre-training學齡前兒童（到處玩、到處學）
2有監督微調Supervised Fine-Tuning (SFT)上學（老師給標準答案）
3人類回饋強化學習Reinforcement Learning from Human Feedback (RLHF)出社會（只有評價、沒有標準答案）

後兩個階段合稱 Alignment（對齊），目的是讓模型從「會接龍」變成「有用的助手」。

#二、階段一：預訓練（Pre-training）

#2.1 目標

讓模型熟悉人類語言的樣子，學會「文字接龍」（Next Token Prediction）。

#2.2 做法

  • 使用海量網路文本（書籍、網頁、程式碼等）
  • 自監督學習（Self-supervised Learning）：把句子遮住後面，讓模型預測下一個 Token
  • 不需要人工標註

#2.3 產出

得到 Base Model（基礎模型）。

它很會延續文字，但不會好好回答問題（常常自言自語、重複、不聽指令）。

#2.4 重點

  • 這是最耗計算資源的階段（需要超大量資料與算力）
  • 模型的「知識」主要在這個階段學到

#三、階段二：有監督微調（SFT）

#3.1 目標

教會模型「怎麼當一個有用的助手」——聽得懂指令、用人類期望的方式回答。

#3.2 做法

  • 人類提供高品質的「問題 + 標準答案」成對資料（Instruction Data）
  • 模型用這些示範資料繼續做文字接龍訓練
  • 資料量通常遠小於預訓練（幾千到幾萬筆就有效）

#3.3 關鍵洞察

SFT 主要不是在教新知識，而是在教「回答的風格與格式」。

模型的能力大部分已經在預訓練時具備，SFT 只是把潛力「喚醒」並引導到正確方向。

#3.4 比喻

上學時老師給標準答案，學生照著學「正確的應對方式」。

#四、階段三：人類回饋強化學習（RLHF）

#4.1 目標

進一步讓模型的回答更符合人類偏好（有幫助、無害、誠實）。

#4.2 與 SFT 的差異

項目SFTRLHF
人類提供什麼標準答案只有回饋（哪個比較好）
學習方式模仿標準答案根據獎勵訊號調整行為
有沒有標準答案有沒有

#4.3 基本流程（經典 RLHF）

  1. 收集人類偏好資料（同一問題，標出哪個回答比較好）
  2. 訓練一個 Reward Model（獎勵模型），學會預測人類會給多少分
  3. 用強化學習（常見 Policy Gradient 系列方法）優化語言模型，讓它產出高獎勵的回答

#4.4 後續發展

  • RLAIF：用 AI 代替人類給回饋，降低成本
  • DPO 等直接偏好優化方法：不一定需要明確訓練 Reward Model
  • RLVR（Reinforcement Learning with Verifiable Rewards）：用可驗證的獎勵（例如數學正確性）

#4.5 比喻

出社會後沒有老師給標準答案，只能靠別人的評價（讚或罵）來調整自己的行為。

💡 延伸閱讀：想了解強化學習的基礎概念（Agent、Reward、Policy 等），可參考 Q-Learning 基礎。

#五、三階段總結與關係

大量無標註文本
        ↓
   Pre-training
        ↓
   Base Model（會接龍，但不會當助手）
        ↓
      SFT
        ↓
   會聽指令的模型
        ↓
     RLHF
        ↓
   更符合人類偏好的助手
  • 預訓練：打基礎、學知識與語言能力
  • SFT：學會「怎麼回答」
  • RLHF：學會「怎樣回答得更好、更安全、更討喜」

#六、作業相關

本講作業會讓同學實作 SFT 與 RLHF 階段（在小規模資料上體驗），感受自己微調一個語言模型的過程。

#七、總結

一句話記住整堂課：大型語言模型的學習歷程 = 預訓練打底 → SFT 教應對 → RLHF 調教成好人。

延伸閱讀：