Bootstrap

【轻松玩转书生·浦语大模型趣味Demo】学习笔记

学习参考文档【轻松玩转书生·浦语大模型趣味 Demo

实操

本地端口配置

生成 SSH密钥对

打开Windows PowerShell终端,输入ssh-keygen -t rsa来生成SSH密钥对
在这里插入图片描述
但是默认情况下生成的密钥会默认使用本机的用户名,如果本机的账户用户名设置是中文的话,会有中文夹杂在其中,而且中文在终端中一般显示为乱码
在这里插入图片描述
为了避免这种情况,需要在生成SSH密钥时避免在标识信息中(图片中的标识信息即为娌愮櫧@Michelle)使用中文,确保使用不包含中文字符的文本。

例如,可以使用以下命令生成SSH密钥,并在标识信息中使用英文字符:

ssh-keygen -t rsa -C "[email protected]"

可以将 “[email protected]” 替换为电子邮件地址或其他英文标识符。这样生成的密钥信息中就不会包含中文了。

查看生成公钥

公钥默认存储在 ~/.ssh/id_rsa.pub,可以通过系统自带的 cat 工具查看文件内容:

cat ~\.ssh\id_rsa.pub

~ 是用户主目录的简写,.ssh 是SSH配置文件的默认存储目录,id_rsa.pub 是 SSH 公钥文件的默认名称。所以,cat ~\.ssh\id_rsa.pub 的意思是查看用户主目录下的 .ssh 目录中的 id_rsa.pub 文件的内容。
在这里插入图片描述

添加SSH公钥

连接SSH公钥

ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 34563

在这里插入图片描述

连接多次问题

在这里插入图片描述
在这里插入图片描述

多次生成 SSH密钥对之后,由于计算机已经保存了旧的SSH主机密钥信息,新的连接尝试会与此不匹配,出现错误。
解决这个问题,删除旧的名字或地址即可。

  • 首先,终端输入命令行notepad C:\Users\29436\.ssh\known_hosts
  • 回车,打开known_hosts文件,会发现其中包含了多个具有相同主机名 [ssh.intern-ai.org.cn] 但不同端口的密钥信息
  • 清空known_hosts文件,然后再次输入ssh -CNg -L 6006:127.0.0.1:6006 [email protected] -p 34563,就可以连接成功

浦语·灵笔图文理解创作 Demo

cuda内存不足问题

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

torch.cuda.OutOfMemoryError:cuda内存不足。已尝试分配20.00 MiB(GPU 0;19.99 GiB总容量;已分配19.05 GiB;10.00 MiB可用;PyTorch总共保留19.43 GiB)如果保留内存>>已分配内存,请尝试设置max_split_size_mb以避免碎片。请参阅内存管理和PYTORCH_CUDA_ALLOC_COFF的文档

cuda内存不足会导致出现上面的问题。解决这个问题的办法是配置开发机时不要选择A100(1/4)*1的配置,要按照教程选择A100(1/4)*2的显卡配置

作业

hugging face 下载功能,使用 huggingface_hub python 包,下载 InternLM-20B 的 config.json 文件到本地

在这里插入图片描述

InternLM-Chat-7B 模型生成 300 字的小故事

在这里插入图片描述
在这里插入图片描述

浦语·灵笔的图文理解及创作部署

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Lagent 工具调用 Demo 创作部署

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

;