LLM 微調 15 技術總覽：LoRA、DPO、GRPO 一次整理
AI/LLM 技術寫作者 Akshay Pachaar 於 7 月 10 日在 X 發表一份 LLM 微調（fine-tuning）技術清單，列出 15 種方法，累積 917 次按讚、1,361 次書籤收藏。Akshay 描述這份清單是「若要自己動手客製化 LLM，會優先學的技術組合」。以下依原始順序整理，並補充每項技術的通用背景說明。
清單全貌：15 種微調技術的原始排序
Akshay 原始清單依序為：1. LoRA、2. QLoRA、3. Prefix Tuning、4. Adapter Tuning、5. Instruction Tuning、6. P-Tuning、7. BitFit、8. Soft Prompts、9. RLHF、10. RLAIF、11. DPO（Direct Preference Optimization）、12. GRPO（Group Relative Policy Optimization）、13. RLAIF with AI Feedback、14. Multi-Task Fine-Tuning、15. Federated Fine-Tuning。
參數效率微調（PEFT）：LoRA 家族與其變體
清單前 8 項通常歸類為「參數效率微調」（Parameter-Efficient Fine-Tuning, PEFT），特點是只更新少量參數就能達到接近全參數微調的效果。LoRA（Low-Rank Adaptation）以低秩矩陣分解實現參數增量、記憶體需求低；QLoRA 是 LoRA 的量化版本，原始論文示範在單張 24GB 消費級 GPU 上完成 65B 模型微調。
廣告 - 內文未完請往下捲動
Prefix Tuning、P-Tuning、Soft Prompts 屬於「提示微調」家族—只調整輸入層的可訓練 embedding，不動主網路權重；Adapter Tuning 在每層插入小型 adapter 模組，適合多任務切換；BitFit 只更新偏置項（bias），是這批技術中參數更新量最小的方法。Instruction Tuning 是廣義概念，指用「指令-回應」格式資料訓練，讓模型學會遵循指示。
對齊訓練與規模應用：RLHF、DPO、GRPO 與聯邦微調
清單第 9 到 13 項屬於對齊訓練家族。RLHF（Reinforcement Learning from Human Feedback）是 ChatGPT 早期採用的方法，用人類偏好資料訓練獎勵模型再做強化學習；RLAIF 把人類回饋改為 AI 回饋以降低成本；DPO 直接以偏好對做梯度優化，省去獎勵模型訓練；GRPO 由 DeepSeek 於 DeepSeekMath 論文提出，透過群體採樣估計優勢函數，後被 DeepSeek R1 系列採用。
清單最後兩項處理訓練規模與資料分佈。Multi-Task Fine-Tuning 用多個任務資料同時訓練提升泛化能力；Federated Fine-Tuning 讓模型在多個裝置上分散訓練、資料不離開本地，適用於隱私敏感場景（醫療、金融）。
風險提示
加密貨幣投資具有高度風險，其價格可能波動劇烈，您可能損失全部本金。請謹慎評估風險。
