Bootstrap

【ai】如何在ollama中随意使用hugging face上的gguf开源模型

【背景】

ollama的pull命令可以直接pull ollama列表中现有的模型,但是ollama可以直接pull的模型大都是英语偏好(llama2有直接可以pull的chinese版本),而hugging face上则有大量多语种训练的模型,如果能直接使用hugging face上的gguf开源模型,那就自由多了,本篇介绍方法。

【命令】

先找到hugging face上的guff模型下载下来,比如这个我已经下载好了:
在这里插入图片描述
然后写一个txt文件,内容如下:
在这里插入图片描述
进到txt文件同目录,用ollama命令生成ollama可直接使用的模型,同时可以给模型命名:

ollama create yourname-CH-model -f Modelfile.txt
;