多模态 AI

多模态模型把不同类型的输入映射到共享的表示空间，从而能够跨模态进行推理。有些模型用配对数据训练，例如带说明文字的图片；CLIP（Radford 等人，2021 年）就是学会匹配图像与文本的代表性例子。另一些模型则把图像或音频的专用编码器接入语言模型，或直接生成图像和音频。

为什么重要：是否支持多模态，决定了你能把什么交给 AI 工具。纯文本模型无法读取扫描的发票、截图或示意图，多模态模型则可以。比较助手时，请查看支持哪些输入和输出、文件大小限制，以及语音、图像生成等功能是否包含在你的套餐中。

举例：现场技术人员拍下错误界面，多模态助手识别出错误代码并给出排查步骤。

局限：不同模态的支持程度不一。模型也许能很好地读取图片，却难以处理小字、手写、复杂图表或长视频；生成的图像和音频也有各自的授权和准确性问题。