温度参数

在每一步，模型都会为所有可能的下一个 Token 分配概率。温度参数会在采样前重新调整这些概率：小于 1 时分布更集中于排名靠前的选项，大于 1 时分布更平缓。温度为零或接近零时，输出几乎是确定的。它常与 top-p（核采样，Holtzman 等人于 2019 年提出）等其他采样设置配合使用。

为什么重要：合适的温度取决于任务。数据抽取、分类和写代码通常适合较低温度，以获得可重复的结果；头脑风暴和创意写作则可以使用较高的数值。许多产品会替你设定好温度，这也是同一模型在不同工具中感觉不同的原因之一。

举例：用较低温度让模型想十个产品名，结果可能大同小异、偏保守；提高温度后，会出现更多新奇的选项。

局限：低温度只能让答案更一致，并不能让答案更准确。部分推理模型固定或限制了温度参数，各服务商允许的取值范围也不相同。