FunnyWii
FunnyWii
Published on 2025-02-20 / 11 Visits
0
0

Windows11 4070Ti部署Deepseek

被裁了(这不重要),没事做,部署个时髦的玩意儿。

本来以为难度颇高,没想到还挺简单...

需要的软件就两个:

  1. ollama

  2. Chatbox AI

模型的部署

进入两个软件的官网并下载Windows版本,下载完成后安装。

使用win+R 呼出Windows的终端,然后进入ollama的模型页面,选择你需要使用的模型分支,b前的数字越大,模型参数越多,需要算力越高。

我是4070Ti的显卡,就先部署个14b吧,虽然在B站看到有人部署了70b...

然后在Windows终端中输入红框中的命令,注意我这个没有选择分支,完整命令应该是 ollama run deepseek-r1:8b 这样的。

image-buka.png

输入命令后,就会开始安装了。前面下载挺快的但是到后面就有点慢...这个看起来是个Dockers的样子?

image-freu.png

安装完成后,就可以在终端中进行问答了。

image-tzuf.png

那么Chatbox AI又是什么东西?你不觉得上面的终端界面虽然Geek但是略显原始吗...

Chatbox AI能为你的本地模型提供一个相对好看的界面。除了Chatbox AI之外,还有很多类似的软件,感兴趣可以自行去了解。我懒得折腾了。

打开Chatbox AI软件,选择使用自己的API Key或本地模型,然后选择Ollama API。

image-eunl.png

然后选择想要使用的模型,并保存。

image-qkbm.png

大功告成!(但是很慢,所以我换成了8b...下面的截图是8b模型效果。

image-ypys.png

模型的卸载

先使用ollama list命令查看当前系统中存在的模型。直接输入ollama查看更多命令。

C:\Users\FunnyWii>ollama list
NAME              ID              SIZE      MODIFIED
deepseek-r1:8b    28f8fd6cdc67    4.9 GB    2 minutes ago

然后使用ollama rm {NAME} 删除你想卸载的模型。


Comment