前言：
如今信息繁杂，公司里行政、人事、财务等部门，天天都被大量重复问题缠得脱不开身，太耗精力。要是有个专属知识小助手随时帮忙，效率肯定猛升。咱们这套方法就能圆梦。
教程简单直白，核心就是 Ollama、Chatbox 或 AnythingLLm 以及 DeepSeek 。Ollama 像个万能 “工具包”，轻松搞定模型下载，搭好运行基础。Chatbox 或 AnythingLLm 是智能 “传声筒”，员工日常一问，行政流程、人事规定、财务细则立马呈现，超方便。DeepSeek 更是 “智慧大脑”，精准淘知识，回答靠谱。
学生党能用它提升学习，职场人更能借此为公司打造提效神器。不管你在行政负责日常办公协调，人事处理员工事务，还是财务管控资金账目，跟着教程一步步来，花不了多少时间，就能搭建起公共知识小助手，让工作中的难题迎刃而解，为公司发展添动力，大家赶紧动手试试吧。
本地安装和使用ollama
1. 安装ollama
Ollama 是一个开源工具，专门用于在本地计算机上运行和操作大型语言模型（LLM）。它让用户能够轻松下载、管理和运行各种 AI 模型（如 LLaMA、Mistral 等），而无需复杂的配置或依赖云服务，访问 Ollama 的官方网站（https://ollama.ai/），下载适配你操作系统的安装包。
(如果下载不了可以找我要下载安装包哦)
2. 设置大语言模型下载目录
在 Windows 上
打开“系统属性”：
- 右键点击“此电脑”或“我的电脑”，选择“属性”。
- 点击“高级系统设置”，然后点击“环境变量”。
在“系统变量”部分，点击“新建”：
- 变量名：OLLAMA_MODELS
- 变量值：E:\path\to\your\custom\directory（替换为你希望保存模型的目录路径）。
点击“确定”保存更改。
重启 PowerShell 或命令提示符，使更改生效。
3. 手动在Ollama中手动导入大语言模型（推荐使用网页安装，更方便，可直接看第四部）
步骤操作：
3.1. 准备模型文件
确保模型文件是Ollama支持的格式（如GGML、GGUF等），并已下载到本地。
3.2. 创建Modelfile
在模型文件所在目录下创建一个文件命名为：Modelfile，文件内容如下：
FROM E:\models\qwen2.5-7b-instruct-q4_0.gguf
将E:\models\qwen2.5-7b-instruct-q4_0.gguf替换为你模型文件的实际路径。
3.3. 导入模型
在终端中运行以下命令：
ollama create qwen2.5-7b -f E:\models\Modelfile
将qwen2.5-7b替换为实际的模型名称，E:\models\Modelfile替换为Modelfile的实际路径。
3.4. 验证导入
导入完成后，使用以下命令验证：
ollama list
确认模型已出现在列表中。
3.5. 运行模型
使用以下命令运行模型：
ollama run qwen2.5-7b
将qwen2.5-7b替换为你的模型名称。
注意事项
- 确保Ollama已安装并正常运行。
4. 网页版安装大模型（推荐使用此方式）
访问ollama官网，左上角，选择models
选择你想要安装的模型，这里以deepseek-r1:7b为例
打开电脑cmd，在终端里输入ollama run deepseek-r1:7b，即可自动完成安装
解释下图中各种小b是什么意思，这里的“b”表示10亿（Billion），基本理解是模型中可训练参数的数量，不同的参数规模，这里以以1.5B、7B、13B为例：
假设我们用一个仓库来比喻大模型，仓库里的货物代表模型学到的知识，而参数就是用来管理这些货物的各种设备和工具。
1.5B模型
- 仓库规模：较小，相当于一个普通的小型仓库。
- 货物种类和数量：相对较少，能够处理一些常见的、较为简单的任务，比如基本的文本分类、简单的语言生成等。就好像仓库里主要存放着一些日常用品，但种类和数量有限。
- 管理设备（参数）：相对较少且简单，例如只有一些基本的货架和少量的搬运工具。这意味着它在处理复杂任务时能力有限，因为“工具”不够多。
7B模型
- 仓库规模：明显比1.5B的大，类似于一个中型仓库。
- 货物种类和数量：丰富了很多，能够应对更复杂多样的任务，如更精准的情感分析、复杂一些的问答系统等。相当于仓库里不仅有日常用品，还有各种专业工具、书籍等，知识储备更加丰富。
- 管理设备（参数）：增多且更先进，有了更多的货架来分类存放货物，还有一些自动化的搬运设备，能够更高效地管理和利用这些知识，处理任务的能力和效率都有所提升。
13B模型
- 仓库规模：非常大，如同一个大型的物流中心。
- 货物种类和数量：极其丰富，几乎涵盖了各个领域的知识，能够处理非常复杂的任务，如多语言的机器翻译、高质量的文本创作、深度的知识推理等。就像这个物流中心里储存着来自世界各地的各种货物，应有尽有。
- 管理设备（参数）：非常庞大和复杂，有多层的智能货架系统，配备了先进的机器人来进行货物的搬运和管理，能够快速准确地找到并运用所需的知识，在处理复杂任务时表现得更加出色。从性能和能力的角度来看，随着参数数量从1.5B增加到7B再到13B，模型的表现通常会有以下提升：
- 语言理解能力：对文本的理解更加深入和准确，能够捕捉到更细微的语义信息和上下文关系。例如，在阅读理解任务中，能够更准确地回答复杂的问题。
- 语言生成能力：生成的文本更加流畅、自然和丰富多样，质量更高。比如在创作故事、诗歌等方面，能够生成更富有创意和逻辑性的内容。
- 泛化能力：能够更好地适应各种不同的任务和领域，在未见过的数据上也能有较好的表现。例如，在跨领域的知识问答中，能够更准确地回答各种问题。
- 学习速度：在进行微调或继续训练时，可能会更快地学习到新的知识和技能，因为它有更多的参数可以进行调整和优化。但同时，随着参数规模的增大，也带来了一些挑战和问题：
- 计算资源需求：训练和部署这些大模型需要更强大的硬件设备，如高性能的GPU集群，这增加了计算成本和资源消耗。
- 训练时间：训练过程会变得非常漫长，需要耗费大量的时间和能源。
- 过拟合风险：可能更容易出现过拟合现象，即模型在训练数据上表现很好，但在新的数据上表现不佳，需要更精细的调优和正则化方法来避免。
本地安装chatbox用户界面
1. 本地安装chatbox
Chatbox 是一个开源的桌面应用程序，专门用于与大型语言模型（如 OpenAI 的 GPT 系列、LLaMA、Mistral 等）进行交互。它提供了一个简洁、易用的图形界面，让用户能够轻松地与 AI 模型对话，而无需编写代码或使用复杂的命令行工具。访问 Chatbox官网(https://chatboxai.app/zh)，下载适合你操作系统的安装包。
也可以不用安装chatbox,直接使用ollama,但只支持命令行方式，用chatbox配置起来更直观方便。
2. 设置chatbox
下载好后设置使用本地模型，也可以使用chatbox自带api，但都是收费的哦
我这里使用的本地模型ollama 并选择刚下载好的deepseek-r1:7b模型
3. 上传本地知识库
设置好模型后，在对话框中上传本地知识库，可以使用docx/excel/pdf等各种文件，如图（我这里上传的是关于安全规范的管理制度为例）：
向chatbox提问，测试效果（提问：有哪些会触发罚款的行为）：
本地安装anythingLLM用户界面（和chatbox安全一款即可，个人更推荐anythingLLM）
1. 安装anythingLLM
AnythingLLM 是 Mintplex Labs 开发的开源全栈应用程序，能将文档转为 LLM 聊天背景信息，支持多种闭源和开源模型、向量数据库，可本地或远程托管，有多用户管理等功能，用于高效知识管理与问答，访问anythingLLM官网（https://anythingllm.com/）下载适合你操作系统的安装包，安装比较简单，安装过程不再详细介绍了。
2. 设置anythingLLM工作区，引用deepseek
安装好后，新建工作区
为新建的工作区设置模型，选择ollama下的deepseek模型，注意聊天模式选查询，不然会有很多噪声哦
切记，修改完配置要拉到最下方update workspace保存配置
3. 上传本地知识库文件
构建本地知识库，在工作区上传文件小图标，可以上传本地pdf/excel/word等文件，添加到工作区
测试效果（提问：有哪些会触发罚款的行为）：
使用anythingLLM和chatbox两种方案都可以实现本地私有化部署知识库，都能有效保障内容安全。我个人偏好使用anything方式，这种方式不仅能实现私有化部署，还提供API接口，方便接入企业微信或飞书工作台，大幅提升使用便捷性 。
后续我们将推出生成API的使用方法，以及利用扣子在线大模型训练知识库的教程，敬请期待！
有兴趣可以添加我的公众号，公众号中有更多ai方面学习资料，另外公众号会第一时间发布文章，感谢关注
