推理（Inference）

推理阶段模型的权重是固定的。对语言模型而言，推理就是先处理输入 Token，再逐个生成输出 Token，直到回答完成。推理运行在服务商数据中心的 GPU 或专用芯片上；较小的模型和开放权重模型也可以在本地硬件上运行。

为什么重要：你为 AI API 或订阅付的钱，大部分花在推理上。延迟、速率限制和每 Token 价格都反映了推理成本，而批处理、缓存和更小的模型等技术正是为了降低这一成本。对于隐私敏感的工作，推理在哪里运行（厂商云端、特定区域还是你自己的设备）可能和模型本身同样重要。

举例：助手每回答一个问题，服务商就运行一次推理请求，并按输入和输出 Token 计费。

注意：中文里“推理”既可指运行模型（inference），也可指模型逐步思考问题（reasoning）。两者并不相同，不过推理模型在作答前会消耗额外的推理算力来“思考”，因此成本和延迟更高。