学习视频:Deepseek+RAGFlow本地构建个人知识库全流程
视频下架了,另一个图文版:简话 RAG 本地部署(DeepSeek + RAGFlow)
概览
1.为什么不直接使用网页版DeepSeek?
2.如何实现网页版Deepseek不能实现的需求?
3.目标效果预览
4.为什么要使用RAG技术? RAG和模型微调的区别?5.什么是Embedding?为什么需要“Embedding模型'
6.本地部署全流程
7.只想迅速搭建个人知识库,可以不本地部署吗?
网页版是基于对话的,所以要上传附件或者基于对话框提供领域知识(上传文件有限制、繁琐且操作有限);隐私无法保障;
三、目标效果预览
why?:模型在回答不知道的问题的时候,会乱编(微调和RAG都要解决这个问题)
微调(考前复习):将知识库作为模型train数据集,训练好的模型用于回答领域问题;缺点是本地部署和微调一个大模型的成本非常高,如果微调小一点的,效果不佳。
RAG(开卷考试 ):在生成回答之前,通过信息检索从外部知识库中査找与问题相关的知识,增强生成过程中的信息来源,从而提升生成的质量和准确性(考试带小抄)。
=>本地部署蒸馏后的大模型+RAG技术针对性检索生成
RAG=Retrieval检索+Augmantation增强+Generation生成
大模型分类:chat模型(对话)、embedding(解析,将文本转为高维向量)
过程记录:下载ollama:之前 部署 DeepSeek 本地模型 下载过了,复习一下
配置变量路径+重启电脑(mac我直接采用默认的了 没有改):
OLLANA_HOST 0.0.0.0:11434
OLLAMA_MODELS 设置下载模型存放的位置
查看可用的模型列表:ollama list 令模型的名称为NAME_X 下载模型:ollama pull NAME_X 运行模型:ollama run NAME_X
下载github-RAGFlow:https://github.com/infiniflow/ragflow
下载Docker:因为上面的源码并不包含RAGFlow的运行环境和依赖;Docker的镜像是很好的封装环境,包含它运行所需要的所有环境配置。(下载最新4.38.0要求macOS 12.0版本)去找了历史版的网址:Release notes | Docker Docs(要4.24.0 看到版本但没找到下载扣)
好心博主:Docker desktop for mac 历史版本下载大全os10.15/11/12-CSDN博客
我、big sur、11.7.10、intel支持版本v4.24.2:链接 提取码: s4vj
(看到这里 视频无了orz 拖延症患者活该!)
Docker配置: