华为云征文|基于Flexus云服务器X实例体验大模型部署体验测评
🔴大家好，我是雄雄，欢迎关注微信公众号：雄雄的小课堂
先看这里
- 前言
- 部署千问大模型
前言
当下，各种大模型层出不穷，先有openai的chatgpt，后有百度文心一言，再就是国内大模型齐头并进的抢先发布。
让普通的开发者不必为不能体验chatgpt而担忧，国内的大模型速度也很快。但是大家目前都是在体验，能不能部署一下试试呢？
今天，我们就以华为云Flexus云服务器X实例来部署一下，顺便测测其性能看看。
注意：本文为高端局，对于还不知道怎么使用shell工具，不知道云服务器为何物？不知道大模型为何物的读者可以退出啦，本文不太适合
部署千问大模型
之前一直就想搞个大模型玩玩了，奈何电脑配置不打够，所以只能是可望而不可及，今天，就单独用这款华为云Flexus云服务器X实例来试试。
本文我们基于Ollama部署和运行大模型，那么，何为Ollama？
官网：在这里
不过官网上都是洋文，看着比较吃力。我搜了些资料，给大家现个丑：
Ollama 是一个强大的框架，设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者，它使该过程变得非常简单。它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。来源：这里
下面，我们来开始实操！
- 下载
Ollama用于启动并运行大模型,手动下载ollma，下载地址如下所示：
curl -fsSL https://ollama.com/install.sh | sh
我们可以直接从浏览器中输入，然后 会自动下载，当然，我们也可以直接从shell工具中下载，不过就是有点慢，他这个东西还很大。
等待的过程挺漫长，可以先去找点别的事儿去做。
接着等待…
终于在漫长的等待过程中，我们将ollama下载下来了啦，下面我们就可以开始体验了！！！
- 启动ollama的服务
当我们服务器中有了ollama的服务后，我们需要启动他！命令如下：
systemctl start ollama.service
然后我们在执行一下下面的命令，看看服务是否已经启动：
systemctl status ollama.service
3. 设置服务开机自启动：
sudo systemctl enable ollama
- 查看内存占用情况。
两个方法都可以查看，第一是从宝塔面板中查看，第二就是直接输入命令：
free -h
大家可以看的出来，used这一列，表示的是已使用，目前来看，并不多。
- 运行大模型
我们先来看看ollama支持的大模型有哪些？点击：这里查看
我们先跑个小点的千问大模型吧，千问0.5B的模型看看。
输入命令：
ollama run qwen2:0.5b
还是继续等待…等待的过程中，为了不浪费时间，可以看看别的事儿。
等待完成，下面我们就可以看到:Send a message这句话了，表示我们可以直接使用大模型提问啦
- 体验大模型
我们输入个问题试试看看：
不知道为啥，他非要说自己是李政保，还说的有鼻子有眼的，质量的问题我们不管，我们看性能和速度问题。
简单的录了个小视频，这速度还是很快的。可见这服务器的性能还是不错的，感兴趣的伙伴们，可以尝试跑跑更大的模型试试。