大语言模型的参数是什么？

大语言模型（LLM）是一种读取文本、逐个预测下一个 Token 的程序（Token 是一个词或词的一部分）。它的内部是一个神经网络：由大量简单的数学运算层层相连组成。每个连接都有一个强度，用一个数字来存储。这些数字就是参数，也叫“权重”。

可以把它想象成一张巨大的调音台，上面有数十亿个小旋钮。单个旋钮本身没有意义，但所有旋钮的位置合在一起，决定了音箱里放出什么声音。在大语言模型里，这些“旋钮”的位置决定了哪个 Token 最可能出现在下一个位置。语法、事实、写作风格和编程习惯，都以规律的形式分散存储在这些数值里，而不是像词典那样逐条记录。

训练开始前，参数都是随机数，模型只会输出乱码。训练时，模型会一段接一段地读取海量文本：每读一段，就猜一次下一个 Token，再与正确答案比对，然后把每个参数朝着“下次更容易猜对”的方向微微调整。这个过程重复数十亿次，有用的规律就逐渐形成了。

训练结束后，参数就被固定下来。你和模型聊天时，它只是使用这些参数，并不会修改它们。这也是为什么模型不会从你的对话中永久“学会”新东西。要再次改变参数，需要进一步训练，例如微调。

不一定。关于规模的研究（Kaplan 等人，2020）发现，当参数量、训练数据和算力同步增加时，语言模型的表现往往会按可预测的规律提升。后来的研究（Hoffmann 等人，2022）则表明，许多大模型相对于自身规模训练数据不足，用更多数据训练的较小模型，反而可能胜过更大的模型。

规模也有代价。模型运行时，每个参数都要放在内存里，所以更大的模型需要更强的硬件，每次回答通常也更慢、更贵。还有一种叫“混合专家”（MoE）的架构，每处理一个 Token 只启用部分参数，因此你可能会同时看到“总参数量”和“激活参数量”两个数字。

参数不是你在应用里能调的那些设置。温度、最大输出长度等选项在 API 文档里有时也被称为“参数”，但它们只影响模型如何生成回答，并不会改动学到的权重。参数也不是训练数据的副本；参数量与上下文窗口（模型一次能读多少文本）也是两回事。

你会在模型名称（如“8B”“70B”）、模型卡片、开放权重模型的下载页以及模型对比中看到参数量。许多公司不公开闭源模型的规模，所以查不到具体数字很常见。作为参照，2020 年的 GPT-3 论文介绍的模型有 1750 亿个参数（Brown 等人，2020）。