Mac本地部署DeepSeek-r1如何设置文档知识库
一、安装DeepSeek
1.1 安装ollama模型管理器
-
ollama官网下载安装包：https://ollama.com/
-
看到mac右上方工具图标出现小羊驼，表示ollama已经安装成功。
2.2 安装DeepSeek
-
打开终端，输入命令：
ollama run deepseek-r1:1.5b，即可自动安装。这里选择了1.5b的小模型。
- DeepSeek一共提供了6套蒸馏小模型，如下图所示。
-
整理了不同模型对机器硬件要求清单：
-
安装完成后，就可以直接在终端中和模型对话，如图：
三、安装AnythingLLM对话终端
为了更好的和模型对话，我们在本地安装AnythingLLM。
-
进入官网下载：AnythingLLM
-
安装
-
安装完成后，启动运行，在初始化界面点击【开始】按钮
-
选择ollama模型容器，并选择已经下载好的
1.5b模型。点击右侧箭头进入下一步。
-
这个界面告诉你数据都给了谁，这里都是运行在本地。继续下一步
-
这里不登录，直接跳过
-
设置工作区
到这里就基本全部都设置完成了，进入正常的聊天界面。
-
点击小扳手，设置软件语言为中文。然后点击左下角的返回按钮，返回主界面。
-
然后就可以和AnythingLLM正常对话，如图：
四、如何设置自定义指令
1.1 进入指令设置界面
1.2 设置一个旅游推荐指令
这是 Ollama 软件中添加新预设（preset）的界面，各部分作用如下：
- Command：用于输入自定义的命令，比如输入 “/poem” 来快速调用相关功能。
- Prompt：此处填写的内容会在用户实际输入的提示词前被注入，用于限定模型输出的方向，比如可以写 “以春天为主题，用抒情的风格创作”。
- Description：对这个预设功能的描述，方便用户识别， 如示例中的 “Responds with a poem about LLMs”，意思是 “回复一首关于大语言模型（LLMs）的诗”。
如果要添加一个让模型写一篇关于旅游攻略的预设：
- Command：输入
/travelguide - Prompt：输入 “请写一篇详细的 [目的地名称] 旅游攻略，内容包含景点介绍、美食推荐和住宿建议”
- Description：输入 “生成指定目的地的旅游攻略” ，然后点击 “Save” 保存预设。
1.3 使用
在完成上述配置后，在此输入/时，会自动弹出预设的指令供选择
输入/travelguide 常州，会自动给出常州这座城市的旅游推荐。
四、文档知识库
在和AI对话过程中，我们有时需要依赖一个文档作为聊天背景上下文，这时候需要AI提前识别文档，作为上下文，然后在继续进行对话，提供更准确的回答。
理解文档，我们需要找Embeddings Basics类型的模型，它负责将你上传的文件拆分成块，转化成AI能理解和调用的形式。这类模型很多，这里我们选择bg3-m3的模型，它支持100中语言。
1.1 安装
ollama pull bge-m3
1.2 创建工作区
下载成功后，我们新建一个工作区：文档知识库，专门用来对文档做提问解答。
然后还是点击小扳手进入设置页面，需要配置【Embedder首选项】为ollama中的gbe-m3
然后对工作区进行设置，切换为【查询】聊天模式，这样就不会给【幻觉】答案，只会提供文档中搜索到的答案。
然后把我们的文档上传到工作区
这时候我们再提问时，AI会自动去上传的文档中搜索答案。例如提问：有效提问的五个⻩⾦法则 是什么？