微调

微调时，会向预训练模型展示带标注的示例，例如问题及其理想答案，并更新参数，使模型学会复现这些示例。全量微调会更新所有参数，而 LoRA（Hu 等人，2021 年）等参数高效方法只训练少量附加权重，从而降低成本。指令微调和基于人类反馈的强化学习，都是把基础模型变成实用助手时采用的微调形式。

为什么重要：微调能让输出的语气和格式更一致，教会模型完成特定的分类任务，或让更小、更便宜的模型在某项具体工作上接近大模型的表现。不过，对大多数业务需求而言，应先尝试更好的提示词和检索：它们更便宜、修改更快，也能保持信息更新；而微调学到的知识在训练完成时就固定了。

举例：一家公司用数千条历史客服回复微调模型，让新起草的回复符合公司风格和工单分类。

局限：微调需要干净、有代表性的数据，以及评估和持续维护，而且并不是可靠的“灌输事实”手段。部分厂商只在特定模型或套餐中提供微调。