词元（Token）

模型处理文本之前，分词器会把文本转换成来自固定词表的 Token 序列，常用字节对编码（BPE）等子词方法。常见词可能只占一个 Token，生僻词则会被拆成好几段。此后模型完全基于这些 Token 编号运算，并逐个 Token 地生成回答。

Token 之所以重要，是因为它决定了成本和容量。API 服务商按输入和输出的 Token 数量收费，上下文窗口则限制模型一次能处理多少 Token。同一段文本在不同模型中的 Token 数可能不同；在部分分词器中，中文等非英语文本表达同样的含义需要更多 Token，这会影响成本。

举例：像“internationalisation”这样的长单词可能被拆成多个 Token，而“the”通常只占一个。大多数服务商都提供分词工具，或在 API 返回结果中给出准确的 Token 数。

局限：Token 计数因模型而异，按字数估算只能得到近似值。实际数字请以服务商的用量报告为准。