硬件环境

作为AIGC方面的小白来说，我抱着非常天真的想法，想让它在我的工作笔记本上用i5的CPU去跑，至于为什么这么想，当然是因为我没有GPU，身边也没有其他的带显卡电脑

恰好，在腾讯云看到了GN7的显示优惠活动，60块钱15天，Nvidia T4的AI卡，直接斥巨资购买了15天

并且为了方便访问模型资源，我这里选择了新加坡的节点

软件环境

腾讯云的服务器，我选择了自己常用ubuntu镜像，同时此模型都是基于python语言，pytorch框架训练的模型，为了便于管理python版本库，使用anaconda来管理。

具体软件环境版本如下：

        conda 4.8.2

        python 3.9

        pytorch2.0.1

        cuda 11.7

具体的软件环境搭建过程，另起一篇去记录

模型部署使用

上海人工智能实验室推出了高性能快速部署的工具lmdeploy，所以这里我们使用此工具进行模型部署

1.安装lmdeploy

pip install lmdeploy

2.从huggingface拉取模型文件

这里注意我的服务器节点在新加坡，所以访问huggingface可以轻松拉取到模型文件，如果在国内的同学，自行考虑科学上网方式，或者前往ModeScope手动搞相应模型文件，ModeScope也有相应加载方式，这里先不做介绍。

git lfs install

git lfs clone https://huggingface.co/internlm/internlm-chat-7b /path/to/internlm-chat-7b

3.使用pytorch加载模型

此方式需要使用到deepspeed,先安装deepspeed

pip install deepspeed

加载运行模型

python -m lmdeploy.pytorch.chat /home/ubuntu/Development/internlm-chat-7b --max_new_tokens 64 --temperture 0.8 --top_p 0.95 --seed 0

我这里运行时报了一个错：检查模型文件的完整性，我这里是模型文件有问题，重新下载模型文件

顺利跑起来，但它没有经过量化的版本，内存貌似不太够用（此环境GPU内存为16GB）

问了几个问题后，就崩了,报内存不够用