嵌入
嵌入(Embedding)是用一串数字(向量)表示一段数据含义的方式,数据可以是词语、句子、图片或文档。含义相近的内容,其向量在空间中也彼此接近,因此软件可以按语义而非字面关键词来搜索、比较和归类内容。
嵌入模型把输入转换为固定长度的向量,维度通常有数百到数千。两个条目之间的相似度可以用余弦相似度等数学方法计算。word2vec(Mikolov 等人,2013 年)等词嵌入证明了这种方法能捕捉词语之间的关系;现代模型则能为整句话、整篇文档乃至图片生成嵌入。
为什么重要:嵌入支撑着语义搜索、推荐、重复内容检测、分类以及 RAG 中的检索环节。如果某个工具宣称能“按语义搜索”或“查找相似内容”,它几乎一定用到了嵌入。嵌入的质量、语言覆盖和成本,会影响这类功能的效果,对非英语内容尤其明显。
举例:基于嵌入的客服搜索,能把“登录不了”这个查询匹配到标题为“重置密码”的文章,即使两者没有任何相同的关键词。
局限:嵌入捕捉的是总体相似性,而非精确事实,可能漏掉生僻术语、产品编号或人名。许多系统会把嵌入与关键词搜索结合使用,以提升效果。
相关术语
循序渐进地学
来源
- Efficient Estimation of Word Representations in Vector Space. Mikolov et al., arXiv, 2013年1月
- Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Reimers and Gurevych, arXiv, 2019年8月
主题: AI 基础
最后更新