书生·浦语训练营笔记（二）

笔记

1对话Demo

环境配置

进入 conda 环境之后，使用以下命令从本地克隆一个已有的 pytorch 2.0.1 的环境

bash # 请每次使用 jupyter lab 打开终端时务必先执行 bash 命令进入 bash 中
/root/share/install_conda_env_internlm_base.sh internlm-demo

然后使用以下命令激活环境

conda activate internlm-demo

并在环境中安装运行 demo 所需要的依赖。

# 升级pip
python -m pip install --upgrade pip

pip install modelscope==1.9.5
pip install transformers==4.35.2
pip install streamlit==1.24.0
pip install sentencepiece==0.1.99
pip install accelerate==0.24.1

模型下载

mkdir -p /root/model/Shanghai_AI_Laboratory
cp -r /root/share/temp/model_repos/internlm-chat-7b /root/model/Shanghai_AI_Laboratory

代码准备看教程就行

cli_demo

python /root/code/InternLM/cli_demo.py

web_demo

(internlm-demo) root@intern-studio:~/code/InternLM#

 streamlit run web_demo.py --server.address 127.0.0.1 --server.port 6006

2工具调用Demo

看教程就行，主要环境要跟着弄，保持一致

3图文创作理解Demo

环境一定要按这个配，我开始没按这个配，出了好多bug

接下来打开刚刚租用服务器的 进入开发机，并在终端输入 bash 命令，进入 conda 环境，接下来就是安装依赖。

进入 conda 环境之后，使用以下命令从本地克隆一个已有的pytorch 2.0.1 的环境

 /root/share/install_conda_env_internlm_base.sh xcomposer-demo

然后使用以下命令激活环境

 conda activate xcomposer-demo

接下来运行以下命令，安装 transformers、gradio 等依赖包。请严格安装以下版本安装！

 pip install transformers==4.33.1 timm==0.4.12 sentencepiece==0.1.99 gradio==3.44.4 markdown2==2.4.10 xlsxwriter==3.1.2 einops accelerate

课后作业

提交方式：在各个班级对应的 GitHub Discussion 帖子中进行提交。

基础作业：

使用 InternLM-Chat-7B 模型生成 300 字的小故事（需截图）。

熟悉 hugging face 下载功能，使用 huggingface_hub python 包，下载 InternLM-20B 的 config.json 文件到本地（需截图下载过程）。

import os 
from huggingface_hub import hf_hub_download  # Load model directly 

local_dir = os.getcwd()
hf_hub_download(repo_id="internlm/internlm-20b", filename="config.json", local_dir=local_dir)