Bootstrap

昇思学习打卡-18-LLM原理与实践/MindNLP ChatGLM-6B StreamChat

模型介绍

ChatGLM-6B模型是一个开源的、支持中英双语的对话语言模型,由清华大学和智谱AI联合研发。

技术特点

  • 模型量化技术:ChatGLM-6B结合了模型量化技术,使得用户可以在消费级的显卡上进行本地部署。在INT4量化级别下,最低只需6GB显存即可运行,大大降低了部署门槛。
  • 优化方向:该模型针对中文问答和对话进行了优化,能够生成相当符合人类偏好的回答。
  • 训练数据:ChatGLM-6B经过了约1T标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术,提升了模型的性能。

运行效果

在这里插入图片描述在这里插入图片描述
测试了3句,感觉ChatGLM-6B还是有点钝,有点回复的最大长度限制了他的发挥一样的感觉。
在这里插入图片描述
所以又测试了一句长的,感觉回答还挺有意思的

此章节学习到此结束,感谢昇思平台。

;