什么是自然语言处理（NLP）？

“自然语言”指人们日常说和写的语言，比如中文或英文，与为机器设计的编程语言相对。人类语言很“乱”：同一个词可以有不同意思（“打”可以是打电话、打车、打球），句子可能有歧义，含义还取决于语境和语气。NLP 要做的，就是让计算机应付这种复杂性。

常见的 NLP 任务包括：

早期的 NLP 依靠人工编写的规则和词表，就像一本只对预先想到的句子管用的常用语手册。从 20 世纪 90 年代起，统计方法通过统计大量文本中的词语规律来学习，让翻译和垃圾邮件过滤效果大幅提升。

后来，神经网络学会把词表示成一串数字（即“嵌入”），让意思相近的词彼此靠近，2013 年的 word2vec 让这种方法流行起来。2017 年提出的 Transformer 架构，让模型能在一段文字中衡量每个词与其他所有词的关系；2018 年的 BERT 等预训练模型则证明，同一个模型可以适配多种语言任务。把这条路线规模化，就诞生了今天的大语言模型，只需一句自然语言指令，它就能完成大多数 NLP 任务。

NLP 已经融入你每天使用的许多软件：

处理语言不等于像人一样理解语言。NLP 系统可能听不出反讽，不懂俚语、文化梗和含糊的指令；语言模型给出的回答即使很流畅，事实也可能是错的。

质量还因语言而异。系统通常在英语等数字文本丰富的语言上表现最好，在文本资源少的语言上较弱。有些语言的同一句话会被切成更多 Token（词的片段），在按 Token 计费的 API 上，同样的请求可能更贵。