什么是多模态 AI？

人天生就是“多模态”的。在餐厅里，你看菜单、看菜品照片、听服务员介绍，再把这三种信息合起来做决定。早期的 AI 工具大多只能处理一种模态：语音识别把声音转成文字，图像分类给照片贴标签，聊天机器人只读写文字。

多模态 AI 把这些能力连在一起。它可以同时接收一张截图、一段语音和一句文字提问，综合考虑后作答。有的产品在后台把几个独立模型串起来，有的则用一个以多种数据训练的模型。两者用起来可能差不多，但串联方式会丢掉某一步无法传递的信息，例如语音转文字这一步就会丢掉说话的语气。

计算机只能处理数字，所以每种输入都要先转换成一串能表达其含义的数字，这叫“嵌入”。图片被切成小块，音频被切成短片段，文字被切成 Token（词的片段），每一块都变成数字。

关键在于把这些数字放进同一个共享空间，让一张狗的照片和“一只狗”这几个字彼此靠近。研究人员的做法是让模型看海量的“图片 + 说明文字”配对；2021 年发表的 CLIP 就是知名的例子。之后，语言模型就能像处理文字一样处理图片片段。可以把它想象成一本图片与语言之间的双语词典。

你很可能已经用过多模态 AI，只是没人这么称呼它。注意有两个方向：有的工具能理解多种输入（输入图片、输出文字），有的则生成另一种类型的输出（输入文字、输出图片）。产品页面对这两种情况都会说“多模态”，所以要看清你的套餐实际支持哪些输入和输出。

多模态 AI 并不像人一样“看”和“听”。它做的是模式匹配，所以可能读错小字、手写或复杂图表，数错物体数量，甚至描述图里根本没有的细节，这就是视觉版的“幻觉”：自信却错误的回答。

照片和录音包含的个人信息往往比你想象的多，比如人脸、位置和背景里的文件。上传之前，先想想你是否介意服务商保存这个文件，并检查工具的隐私设置。