网站菜单

使用Ollama部署本地Deepseek大模型知识库

虽然这篇教程是以 Windows 系统为基础,但其实大多数步骤在其他系统上也可以操作,原理基本一样。

如果你是 Linux 或 Mac 用户,可以稍微根据自己的系统做点调整。

第一步:安装 Ollama

要想让 DeepSeek 在你电脑上顺利运行,首先需要安装一个工具——Ollama。它是 DeepSeek 本地调用的关键,能让你在不依赖服务器的情况下,直接在自己的电脑上跑大模型。

安装 Ollama 的过程超简单,都是英文界面,按“Install”一路点“下一步”就行了。

安装完成后,记得去电脑的开始菜单找一下,“Ollama”就在那里了,点击启动就好。看起来是不是很简单?只要按照这个步骤做,几分钟就能搞定。

第二步:安装 DeepSeek 模型

Ollama 安装完毕后,就到了安装 DeepSeek 模型的步骤。打开Ollama的模型页面找到Deepseek,你会看到有几个不同的版本。根据自己的硬件配置选择合适的版本:

  • 1.5B:适合配置较低的电脑,最低需要 4GB 内存+核显。
  • 7B:推荐版本,大多数电脑都能跑,要求 8GB 内存+6GB 显存。
  • 32B:高性能设备用,要求 32GB 内存+20GB 显存。

推荐选择 7B 版本,因为它的性能和硬件要求比较平衡。选择完之后,复制对应的指令,例如:

ollama run deepseek-r1:7b

接下来,进入cmd,输入刚才复制的指令,再按回车。

DeepSeek 模型就开始下载了!好消息是,7B 模型相对体积较小,下载速度不会太慢,等到命令行窗口显示 “success” 就表示安装成功啦。

第三步:下载和安装 AnythingLLM

打开 AnythingLLM 的官网,选择适合你操作系统的版本进行下载安装

第四步: 创建工作区

安装好 AnythingLLM 后,打开软件你就会看到主界面。接下来,咱们来创建一个工作区——这是你管理知识库的核心区域。

  1. 首先,给你的工作区起个名字,比如 本地知识库
  2. 点击确认后,工作区就创建好了。这个过程非常简单,基本上没啥复杂设置。

第五步:配置模型

工作区创建好了,接下来我们就要把 DeepSeeK 和 AnythingLLM 连接起来,让它们能够互相沟通,从而更好地为你服务。

在 AnythingLLM 的界面左下角,点击那个扳手图标,进入设置页面。

在 LLM首选项 里,选择 Ollama 作为你的对话模型,因为我们前面本地部署的时候就是用的这个。

配置 DeepSeeK 的 IP 地址。如果你是在本地运行 DeepSeeK 实例,输入 http://127.0.0.1:11434(记得要加上 http:// 哦)。

此时,你就能看到本地配置的所有模型了,配置完成后,就可以开始进行对话了。

第六步:上传知识文档

好了,模型配置完毕,接下来我们要将你的知识库文档上传到 AnythingLLM 中。文档的质量直接决定了模型回答的精准度,所以这一步真的很重要。

在工作区页面,点击上传按钮,进入文件管理页面。

将你的本地文档直接拖拽到上传区域,或者你也可以直接输入网页链接,把网页内容同步到临时交换区。

上传完成后,选择你需要的文档,点击“Move to Workspace”,把文档移到工作区里。

然后点击“Save and Embed”,系统会解析并存储文档内容。这个过程可能需要一点时间,所以你得耐心等待。

一旦文档解析完成,你就能在工作区的文件面板中看到这些文档了。如果你上传了多个文档,系统会自动处理长文档,并将其切分存储。

第七部:关联文档到对话

为了让 DeepSeeK 能根据你上传的文档给出准确回答,我们需要将这些文档关联到当前的会话中。

  1. 在工作区文件面板中,找到你需要关联的文档。
  2. 点击文档旁边的图钉按钮,文档就会被关联到当前会话。
  3. 返回到对话页面,你现在就可以根据上传的文档内容提问了。

如果你不再需要某个文档参与对话,随时可以取消关联,恢复到默认对话模式。

第八步:开始对话

一切准备好后,直接进入对话页面,开始提问吧!输入你的问题,DeepSeeK 会根据你关联的文档内容进行回答。如果你上传的是专业领域的知识库,回答会更加精准。

*有个小技巧:每次上传新的知识库文件后,记得输入 /reset 指令,清空当前对话上下文,避免干扰新对话。

显示评论 (0)

文章评论

相关推荐

Yolov5_Seg输出解析

通过矩阵乘法(在代码中称为“matmul”)来计算分割掩码的原因,主要与实例分割网络(例如 YOLOv5 Segmentation)的实现方式有关。这种方法实际上是一种高效的特征图与目标分割系数组合的…

Ubuntu交叉编译Python

在 Ubuntu 上交叉编译 Python 的流程通常用于为不同平台生成可执行文件(如 ARM、MIPS 等)。以下是一般的操作步骤: 1. 安装必要的依赖工具 首先,确保已经安装了编译所需的工具和依…