Ollama运行各种平台的大模型(deepseek),配合AnythingLLM-UI界面使用
Ollama官网
window下载
Download Ollama on Windows
下载的时间比较久
1、现在后直接运行
2、下载不同的大模型
2.1下载阿里的千问模型。不想下载deepseek的话
cmd执行命令 ollama run qwen
2.2下载deepseek的模型
进入Ollama Search官网下载不同平台的模型
这里我们选择deepseek-r1的1.5B,复制下图的命令
我这里下载了三个大模型试着运行
2.3、下载deepseek1.5B,跟据个人电脑安装,我的显卡是1050的2G,只能跑个1.5B的,不具备推理能力,8G以上显存的可以试下7B,40系列以上12G显卡可以跑14B,32B的要24G
cmd命令输入你下载的模型命令ollama run deepseek-r1:1.5b启动,
也可以将次命令输入文本,文本名改成.bat结尾.直接双击运行即可得到界面,第一次运行会自动下载模型自动运行的。
2.4、至此命令版本地版deepseek1.5B的部署完成
2.5如果想要界面的下载UI ---AnythingLLM,需要安装node.js和python环境
Download AnythingLLM for Desktop
下载完成后运行安装
界面版的1.5B的和正常网页版的相差挺大的
同样的问题问了网页版的deepseek、,回答更全面
可以使用任意自己部署的大模型平台
什么是 AnythingLLM ~ AnythingLLM
可以使用AnythingLLM搭建自己的知识库,这个是使用手册
什么是 AnythingLLM ~ AnythingLLM,后续更新使用方法