什么是微调（Fine-tuning）？

大语言模型的构建分几个阶段。首先是预训练：模型阅读海量通用文本，学会语言、知识和各种规律，得到一个“通才”，通常称为基础模型。之后任何在更小、更聚焦的数据集上进行、让模型适应更具体用途的训练，都叫微调。

可以想想医生：先读完通用的医学院课程，再接受专科培训。专科培训比最初的学业短得多，却深刻影响他日后的工作方式。微调也是如此：所需数据和算力远少于预训练，对模型行为的影响却是持久的。“先预训练语言模型、再针对任务微调”的思路，因 Howard 与 Ruder（2018）等研究而广为流行。

刚完成预训练的模型擅长续写文字，却不擅长听从指令：你问它一个问题，它可能只会接着写出更多问题。聊天助手之所以存在，是因为开发者用“有帮助的回答”示例，以及人类对回答优劣的评分来微调这类模型，Ouyang 等人（2022）描述了这种方法。

对大模型的全部参数进行微调成本很高，因此许多团队采用参数高效的方法。其中广泛使用的 LoRA（Hu 等人，2021）会冻结原模型，只训练一小组附加权重，让微调更便宜，也让一个基础模型可以搭载多种轻量的“专长”。

一般来说，微调更擅长教“形式”而非“事实”。比如要让模型掌握不断更新的产品目录，RAG 通常更简单、更稳妥。

这是让通用模型贴合需求的三种方式，常常组合使用。常见做法是从成本最低的开始尝试：

你在对话中纠正聊天机器人，并不是微调；模型不会拿你的聊天记录重新训练自己。用自定义指令加上传文件搭建的助手也不是微调，它依靠的是提示词和检索。微调也不是从零造一个新模型，它总是从一个已有的模型出发。

你会在模型服务商的开发者平台、网上共享的各种开放权重模型微调版本（名称以“instruct”或“chat”结尾的，通常就是经过指令微调的版本），以及提供“用企业自有数据训练定制模型”的企业级 AI 产品中遇到微调。