Transformer

早期的语言模型按顺序逐词读取文本，训练速度慢，也难以处理相隔较远的词之间的联系。Transformer 则同时查看序列中的所有 Token，并通过自注意力机制决定每个位置应关注哪些 Token。这种计算非常适合在 GPU 上并行，使 Transformer 能在大得多的数据集上训练，这也让当今的大语言模型成为可能。

为什么重要：知道大多数 AI 产品共享这一架构，就能理解各类工具的共同特性：它们以 Token 为单位工作，有固定的上下文窗口，成本随输入长度增长，因为注意力机制需要在 Token 之间相互比较。产品之间的差异通常来自训练数据、模型规模、调优方式以及模型外围的软件，而非基础架构。

举例：模型翻译“the bank by the river”时，注意力机制帮助它把“bank”与“river”联系起来，从而选出“河岸”而不是“银行”这一含义。

局限：随着输入变长，标准注意力的计算开销会迅速上升，这也是长上下文更贵的原因之一。研究者仍在探索更高效的变体和替代架构。