检索增强生成
缩写: RAG
检索增强生成(RAG)是一种在语言模型作答时,从企业文档、搜索索引等外部来源检索相关信息并提供给模型的技术。模型基于检索到的内容生成回答,因此答案更及时、更具体,也更便于核查。
典型的 RAG 流程分三步:先把文档切分成片段,转换为嵌入向量,存入向量数据库或搜索索引;用户提问时,系统检索与问题最相似的片段;再把这些片段插入提示词,由模型据此生成回答,并常附上引用。这一术语出自 Lewis 等人 2020 年的论文。
大多数“与文档对话”类产品、AI 客服和企业搜索助手都基于 RAG。它让通用模型无需重新训练,就能回答涉及私有信息或最新信息的问题。比较这类工具时,可以问清楚:内容如何切分和建立索引、回答是否注明出处、权限如何控制,以及索引多久刷新一次。
举例:HR 助手回答“公司提供多少天育儿假?”时,会检索员工手册中的相关章节并加以引用。
局限:RAG 的效果取决于检索质量。如果没找到正确段落,或文档本身过时、相互矛盾,模型仍可能答错。RAG 能减少幻觉,但无法完全消除。
相关术语
循序渐进地学
来源
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Lewis et al., arXiv, 2020年5月
主题: AI 基础
最后更新