Bootstrap

Deepseek基于ollama实现本地部署(Windows实操)

前提说明:

        相信大家最近也被Deepseek本地部署刷屏或者或多或少听过,因为现在Deepseek官网的压力有点大,很容易服务器繁忙,让想体验的人望而却步。对,我也是因为这样所以才去本地部署,先说结论:硬件条件不是很优越的不太推荐本地部署,效果并没有想象中的好,可以当做一个享受过程来本地部署。


安装ollama

官网下载网址:Download Ollama on Windows

大家可能会碰见一直网址转圈圈的情况:

当初我也很困惑很迷茫,尝试用过很多方法:用网盘下别人的资源,但不是最新的。用魔法,但也比较慢。我也是偶然的机会碰见别人评论区有人说可以用迅雷:先右键在Download for Windows上获取下载链接,然后在迅雷打开,下载速度嘎嘎快,由于ollma安装默认为c盘且在页面不能调节下载位置,所以大家可以提前看一下ollama变更安装位置的博文,这里就不多赘述了。


下载模型:

点击官网的models就可以看见各种各样的大模型:

第一个就是我们实操的deepseek 。


安装模型:

 查看自己显卡的详细情况可以win+r,输入cmd调出命令行输入wmic path win32_VideoController get name,adapterram,DriverVersion查看显卡信息,name是名字,adapterram是显存大小(注意是字节形式的,如果想转换成gb形式则需要除以1073741824即1024*1024*1024),DriverVersion是显卡驱动程序的版本号。记住一定要适当根据显卡硬件条件来选择合适的模型大小,选择好后复制下载链接然后在命令行中输入ollama run deepseek-r1(举例),然后等待下载即可。

 运行模型:

打开命令行后输入ollama list查看已经下载好后的模型列表,然后输入ollama run (这里填输入列表模型名字也就是Name)即可运行模型开始对话。

ui界面

大家可能觉得命令行操作起来不好看也不方便,这里可以用可视化ui界面操作。

先要下载docker 容器

 https://www.docker.com 下载,这里依然选择Windows版

这是open-webui的下载地址:https://github.com/open-webui/open-webui

找到“If Ollama is on your computer, use this command”这一项,点击右边的按钮复制这个指令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

放在命令行中下载。下载完成进入docker-desktop。如下:

点击后会进入一个可视化网站界面,注册登录后即可与大模型沟通。

到此就完成啦,有什么问题可以在评论区讨论,能撑到这里你太棒了!!!

;