本来以为难度颇高，没想到还挺简单...

需要的软件就两个：

  1. ollama

  2. Chatbox AI

模型的部署

进入两个软件的官网并下载 Windows 版本，下载完成后安装。

使用 Win+R 呼出 Windows 的终端，然后进入 ollama 的模型页面，选择你需要使用的模型分支，B 前的数字越大，模型参数越多，需要算力越高。

这里的 1B/1b = 十亿参数， 对于 FP16 精度的模型来说，1B 模型的权重体积大约为 2GB。

精度

每个参数

1B模型大小

推荐显存

FP32

4 Byte

4GB

8GB

FP16/BF16

2 Byte

2GB

4GB

INT8

1 Byte

1GB

2GB

我是 4070Ti 的显卡，就先部署个 14b 吧，虽然在B站看到有人部署了 70b...

然后在 Windows 终端中输入红框中的命令，注意我这个没有选择分支，完整命令应该是 ollama run deepseek-r1:8b 这样的。

image-buka.png

输入命令后，就会开始安装了。前面下载挺快的但是到后面就有点慢...这个看起来是个 Dockers 的样子？

image-freu.png

安装完成后，就可以在终端中进行问答了。

image-tzuf.png

那么Chatbox AI又是什么东西？你不觉得上面的终端界面虽然 Geek 但是略显原始吗...

Chatbox AI 能为你的本地模型提供一个相对好看的界面。除了Chatbox AI 之外，还有很多类似的软件，感兴趣可以自行去了解。我懒得折腾了。

打开Chatbox AI软件，选择使用自己的API Key或本地模型，然后选择Ollama API。

image-eunl.png

然后选择想要使用的模型，并保存。

image-qkbm.png

大功告成！（但是很慢，所以我换成了 8b...下面的截图是 8b 模型效果。

image-ypys.png

模型的卸载

先使用ollama list命令查看当前系统中存在的模型。直接输入ollama则可以查看更多命令。

C:\Users\FunnyWii>ollama list
NAME              ID              SIZE      MODIFIED
deepseek-r1:8b    28f8fd6cdc67    4.9 GB    2 minutes ago

然后使用ollama rm {NAME} 删除你想卸载的模型。