被裁了(这不重要),没事做,部署个时髦的玩意儿。
本来以为难度颇高,没想到还挺简单...
需要的软件就两个:
模型的部署
进入两个软件的官网并下载Windows版本,下载完成后安装。
使用win+R
呼出Windows的终端,然后进入ollama的模型页面,选择你需要使用的模型分支,b
前的数字越大,模型参数越多,需要算力越高。
我是4070Ti的显卡,就先部署个14b吧,虽然在B站看到有人部署了70b...
然后在Windows终端中输入红框中的命令,注意我这个没有选择分支,完整命令应该是 ollama run deepseek-r1:8b
这样的。
输入命令后,就会开始安装了。前面下载挺快的但是到后面就有点慢...这个看起来是个Dockers的样子?
安装完成后,就可以在终端中进行问答了。
那么Chatbox AI又是什么东西?你不觉得上面的终端界面虽然Geek但是略显原始吗...
Chatbox AI能为你的本地模型提供一个相对好看的界面。除了Chatbox AI之外,还有很多类似的软件,感兴趣可以自行去了解。我懒得折腾了。
打开Chatbox AI软件,选择使用自己的API Key或本地模型,然后选择Ollama API。
然后选择想要使用的模型,并保存。
大功告成!(但是很慢,所以我换成了8b...下面的截图是8b模型效果。
模型的卸载
先使用ollama list
命令查看当前系统中存在的模型。直接输入ollama
查看更多命令。
C:\Users\FunnyWii>ollama list
NAME ID SIZE MODIFIED
deepseek-r1:8b 28f8fd6cdc67 4.9 GB 2 minutes ago
然后使用ollama rm {NAME}
删除你想卸载的模型。