思维链提示
思维链(CoT)提示是一种让语言模型在给出最终答案前,先写出中间推理步骤的技巧。该方法由 Wei 等人于 2022 年提出,能提升算术、逻辑和规划等多步骤问题的准确率,也启发了后来的推理模型。
在原始方法中,提示词包含若干示例,示例的答案逐步展示了推理过程,模型便会模仿这种结构。更简单的零样本版本只需加上一句“让我们一步一步地思考”(Kojima 等人,2022 年)。写出步骤让模型在每个问题上投入更多计算,并使每一步都建立在上一步之上,从而减少草率得出错误结论的情况。
为什么重要:当任务需要多个相互依赖的步骤时,例如计算报价、诊断错误或按标准比较方案,思维链就很有用。推理模型如今会在内部完成这一过程,因此显式的思维链提示对普通模型最有价值。要求模型写出步骤,也更便于检查答案在哪一步出了错。
举例:与其直接问“3 个许可证用 14 个月、享受年付 9 折,总共多少钱?”,不如让模型先分别列出月单价、月数、折扣和总额,再给出答案。
局限:写出来的推理可能看似合理却包含错误,也不一定如实反映模型得出答案的过程。它还会增加输出 Token,从而提高成本和延迟。
相关术语
循序渐进地学
来源
- Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. Wei et al., arXiv, 2022年1月
- Large Language Models are Zero-Shot Reasoners. Kojima et al., arXiv, 2022年5月
主题: 提示词工程
最后更新