目录
前言
点进来看本文的应该都知道模型对硬件的要求很高, 那我也不废话了, 直接安排最近发现的一个开源项目, 它可以帮助我们降低部署模型的成本, 开源仓库链接：
GitHub - Jittor/JittorLLMs: 计图大模型推理库，具有高性能、配置要求低、中文支持好、可移植等特点
- 内存要求：至少2G，推荐32G
- 显存：可选， 推荐16G
- 操作系统：支持Windows，Mac，Linux全平台。
- 磁盘空间：至少40GB空闲磁盘空间，用于下载参数和存储交换文件。
- Python版本要求至少
3.8（Linux的Python版本至少3.7）。
可以看出对配件的要求不是很高, 显卡可有可无（有的话更好）,我是在笔记本电脑上部署测试的,配置的话是：i5-1135G和32G内存（无独立显卡）
部署
部署教程在开源仓库的README中写的很详细, 请自行查看, 部署过程中遇到问题可以评论提问
效果
问题1：人类为什么需要睡觉？
GPU服务器：
本机：
问题2：世界上最高的山峰是什么？
GPU服务器：
本机：
我测试的模型是ChatGLM的, 效果如图所示, 相差不大
👍点赞，你的认可是我创作的动力 ！
🌟收藏，你的青睐是我努力的方向！
✏️评论，你的意见是我进步的财富！