如何将AI大模型部署到本地电脑
所需工具:
Ollama
Docker
open-webui
-
下载并安装Ollama
-
下载AI模型(支持中文较好的模型qwen2)
Windows命令行输入:
ollama run qwen2
-
下载并安装Docker
-
通过Docker部署open-webui
Windows命令行输入:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
安装完docker镜像,可以在Docker软件中看到:
点击自动在浏览器中打开网页:
然后便可以愉快的在浏览器网页上使用AI模型了