认识知识库的技术原理
- 第一步:📖➡️📈将文档的文本转换为向量,向量存储到向量数据库。
- 第二步:🗨️➡️🔍将用户的提问内容转换成向量,在向量数据库中检索相似的文本内容,检索结果就是 " 包含答案的内容 "。
- 第三步:🗨️+📖=💡将用户的提问内容和检索到的 " 包含答案的内容 " 组装成新的提示词,发给大模型。
🤔思考:经过检索增强生成(RAG)后,最后输入大模型的内容,为何是用户输入和检索结果的文本组装,而不是二者向量的组装?
向量虽然对于信息检索和相似性匹配很有用,但它们不是模型可以直接理解的输入格式。其次,向量的简单组装,可能会破坏这种语义完整性,因为向量空间中的操作不一定能保留原始文本的含义。通过将用户的提问与检索到的相似文本拼接在一起,其实我们创建了一个在语义上连贯的输入,这有助于模型更好地理解上下文并生成准确的回答。
假设我门来创建一个客服机器人,来设计它的知识库
把知识库内容丢进去 《星河机器人》文档下载
这是Prompt
效果如下
检索增强生成(RAG)与知识库的区别
在实际应用中,知识库可以作为RAG模型的检索系统的一部分。例如,如果你正在构建一个问答系统,你可以使用知识库来存储问题的答案,RAG模型则可以检索知识库中的相关信息,并结合这些信息生成更准确和详细的回答。