本地部署、微调大模型

一、本地部署大模型

1.部署

1. 更新git-lfs

apt-get update

apt-get install git-lfs

2. 这里极容易出错，如果报错就初始化git

git lfs install
git init
git lfs install

3.下载ChatGLM-6B源代码

git clone https://github.com/THUDM/ChatGLM-6B.git

4. 安装依赖包

ls
cd ChatGLM-6B
pip install -r requirements.txt

5. 下载模型文件
方法一：使用 Git LFS 从 Hugging Face Hub 将模型下载到本地，这样从本地加载模型的响应速度更快。（但连接及其不稳定，推荐使用方法二）

git clone https://huggingface.co/THUDM/chatglm-6b

方法二：从 ModelScope 中下载

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

【01】ChatGLM3-6B部署：利用阿里云部署ChatGLM3-6B模型

6. 修改路径
   

7. 启动前端

python web_demo.py

2.注意

1. 修改Git代理服务：（127.0.0.1:8087配置为自己的实际代理ip及端口）

git config --global http.proxy 127.0.0.1:8087
git config --global http.sslVerify false

2. 恢复Git使用默认代理服务

git config --global --get http.proxy
git config --global --get https.proxy

git config --global --unset http.proxy
git config --global --unset https.proxy

git config --global --get http.proxy
git config --global --get https.proxy

3. 安装完所有包后，会自动帮我们安装较高版本的gradio，会报错：

GradioDeprecationWarning: The `style` method is deprecated. Please set these arguments in the constructor instead.
  user_input = gr.Textbox(show_label=False, placeholder="Input...", lines=10).style(

这会造成后续模型部署好开始测试时，模型没有回复，所以你需要手动安装较低版本的gradio，例如可以安装gradio3.40.0的包或者可以安装gradio3.50.0的包：

pip install gradio==3.40.0
或
pip install gradio==3.50.0

二、本地微调大模型

1.微调

ChatGLM3-6B大模型部署、微调【0到1小白教程】

2.注意

1. windows 下，cmd窗口，获取文件的sha1值：certutil -hashfile filename SHA1

2. 微调时启动前端报错：/bin/sh: 1: llamafactory-cli: not found
    
   解决方法：pip install -e.[metrics]

3. 微调完运行微调模型没有回复，报错：ValueError: too many values to unpack
    
   解决方法：经排查报错原因是官方的bug导致，最新的包有问题，重新安装下transformers的包并重启问题就可以解决 pip install
   transformers==4.40.2