Windows系统本地部署Ollama+MaxKB安装教程

文章目录

• • Windows系统本地部署Ollama+MaxKB安装教程
  • • • 环境部署和配置
      • MaxKB的使用
      • • • 1. 创建知识库
          • 2. 创建模型
      • 3. 测试
      • 4. 创建应用

环境部署和配置

1. 在本地先安装Ollama

2. Windows11以下系统需要进行更新。
   Win10必更新到版本号：22H2，操作系统内部版本：19045.4412及以上版本。▲注意：设置好后重启电脑

3. 控制面板→程序→启用或关闭Windows功能，设置（打勾）：“Hyper-V”,“Windows 虚拟机监护程序平台”，“适用于 Linux 的 Windows 子系统”，“虚拟机平台”。▲注意：设置好后重启电脑

4. 确定是Win10(版本号：22H2，操作系统内部版本：19045.4412及以上版本）（如是Win11，就这里就可以忽略了）后：▲设置好后重启电脑
5. Windows PowerShell命令行窗口在Windows系统开始那里

• 先安装WSL（管理员运行Windows PowerShell：wsl --update）
• 安装Ubuntu（管理员运行Windows PowerShell：wsl --install -d Ubuntu），运行后要设置帐号密码，注：输入密码时，密码不会显示在命令行窗口，不要惊慌，实际已设置好了。
  此处，可能会出现Error code: Wsl/InstallDistro/WININET_E_NAME_NOT_RESOLVED的错误，按照这篇文章进行解决。
• 官网下载安装Docker后注册帐号（需科学上网），在Docker软件设置里，找到“Resource”项→"WSL integration"项，将“Enable integration with my default wSL distro”打勾，将“Ubuntu”打开。后连接Docker（管理员运行Windows PowerShell：docker login）
• Docker是国外的软件，日常使用需加速，不加速就得科学上网（但这样不切实际），所以在Docker设置里，找到“Docker Engine”，设置Docker镜像加速代码：
  注意：一个逗号都不能少，直接复制这个就可以了。

{
“builder”: {
“gc”: {
	“defaultKeepStorage”: “20GB”,
	“enabled”: true
	}
},
“experimental”: false,
“registry-mirrors”: [
	“https://dockerproxy.com 32”,
	“https://docker.mirrors.ustc.edu.cn 28”,
	“https://docker.nju.edu.cn 14”
]
}

• 安装MaxKB镜像（点击Ubuntu图标后出现命令行窗口，后输入命令行：

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb

在安装完镜像之后，还不能直接创建知识库，需要先删掉自动部署的MaxKB容器重新创建：

在Container中点开自动部署的maxkb容器，关闭右上角的Raw JSON选项，找到PGDATA这一项，这一项是数据保存的路径，先将该路径进行保存。
在Container中删除自动部署的容器之后，按照以下配置进行创建：

第一个Host Port可以不填，第二个Host Port填写8080，第一个Host Path填写在本地磁盘新建的知识库的保存路径，第二个Container Path填写之前保存的数据保存路径，并进行创建。然后，就成功创建了容器。

• 在浏览器输入地址：http://localhost:11434→出现信息：Ollama is running（可见Ollama已在本地运行）

• 关于maxKB内API域名设置问题：▲设置好后重启Ollama
  添加用户变量：

  变量名：OLLAMA_HOST
  变量值：0.0.0.0
  

MaxKB的使用

1. 创建知识库

将所有知识库的文件导入知识库中，可以选择通用型配置和Web 站点的方式进行配置，选择智能分段即可，一次最多上传50个文件。

2. 创建模型

点击系统设置->模型设置，选择添加模型，类似OpenAI,千帆大模型等都是在线接入的方式，需要有相应的账号和API Key，如果要通过本地运行，应该选择Ollama，Ollama是一个支持在本地运行的大模型框架。
可以在Ollama的模型库中选择需要的模型及其执行命令，并在命令窗口中执行
本文选择在Ollama中搭载通义千问的大模型。

ollama run qwen:7b

由于我电脑的显存只有10G，因此选择了最大的选择qwen:7b。面向中文的文档和知识库构建，国产的大模型对中文的理解会更好。
点击系统设置->模型设置中选择Ollama新建模型，如下图所示：

模型名称和基础模型都尽量填写和该模型相关的名称，模型类型选择大语言模型，API域名填写API域名：http://host.docker.internal:11434，API Key可以随意填写。

3. 测试

在模型添加完毕并且命令窗口成功运行之后，可以在命令窗口测试和LLM是否能够正常进行对话。

4. 创建应用

模型名称和模型描述都可以简要概括，AI模型选择创建好的模型，可以对提示词进行适当的修改以得到更好的输出，并且把多轮对话打开，添加我们所创建好的知识库。

完成之后，直接发布并进行对话即可。

Windows系统本地部署Ollama+MaxKB安装教程

文章目录

• • Windows系统本地部署Ollama+MaxKB安装教程
  • • • 环境部署和配置
      • MaxKB的使用
      • • • 1. 创建知识库
          • 2. 创建模型
      • 3. 测试
      • 4. 创建应用

环境部署和配置

1. 在本地先安装Ollama

2. Windows11以下系统需要进行更新。
   Win10必更新到版本号：22H2，操作系统内部版本：19045.4412及以上版本。▲注意：设置好后重启电脑

3. 控制面板→程序→启用或关闭Windows功能，设置（打勾）：“Hyper-V”,“Windows 虚拟机监护程序平台”，“适用于 Linux 的 Windows 子系统”，“虚拟机平台”。▲注意：设置好后重启电脑

4. 确定是Win10(版本号：22H2，操作系统内部版本：19045.4412及以上版本）（如是Win11，就这里就可以忽略了）后：▲设置好后重启电脑
5. Windows PowerShell命令行窗口在Windows系统开始那里

• 先安装WSL（管理员运行Windows PowerShell：wsl --update）
• 安装Ubuntu（管理员运行Windows PowerShell：wsl --install -d Ubuntu），运行后要设置帐号密码，注：输入密码时，密码不会显示在命令行窗口，不要惊慌，实际已设置好了。
  此处，可能会出现Error code: Wsl/InstallDistro/WININET_E_NAME_NOT_RESOLVED的错误，按照这篇文章进行解决。
• 官网下载安装Docker后注册帐号（需科学上网），在Docker软件设置里，找到“Resource”项→"WSL integration"项，将“Enable integration with my default wSL distro”打勾，将“Ubuntu”打开。后连接Docker（管理员运行Windows PowerShell：docker login）
• Docker是国外的软件，日常使用需加速，不加速就得科学上网（但这样不切实际），所以在Docker设置里，找到“Docker Engine”，设置Docker镜像加速代码：
  注意：一个逗号都不能少，直接复制这个就可以了。

{
“builder”: {
“gc”: {
	“defaultKeepStorage”: “20GB”,
	“enabled”: true
	}
},
“experimental”: false,
“registry-mirrors”: [
	“https://dockerproxy.com 32”,
	“https://docker.mirrors.ustc.edu.cn 28”,
	“https://docker.nju.edu.cn 14”
]
}

• 安装MaxKB镜像（点击Ubuntu图标后出现命令行窗口，后输入命令行：

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb

在安装完镜像之后，还不能直接创建知识库，需要先删掉自动部署的MaxKB容器重新创建：

在Container中点开自动部署的maxkb容器，关闭右上角的Raw JSON选项，找到PGDATA这一项，这一项是数据保存的路径，先将该路径进行保存。
在Container中删除自动部署的容器之后，按照以下配置进行创建：

第一个Host Port可以不填，第二个Host Port填写8080，第一个Host Path填写在本地磁盘新建的知识库的保存路径，第二个Container Path填写之前保存的数据保存路径，并进行创建。然后，就成功创建了容器。

• 在浏览器输入地址：http://localhost:11434→出现信息：Ollama is running（可见Ollama已在本地运行）

• 关于maxKB内API域名设置问题：▲设置好后重启Ollama
  添加用户变量：

  变量名：OLLAMA_HOST
  变量值：0.0.0.0
  

MaxKB的使用

1. 创建知识库

将所有知识库的文件导入知识库中，可以选择通用型配置和Web 站点的方式进行配置，选择智能分段即可，一次最多上传50个文件。

2. 创建模型

点击系统设置->模型设置，选择添加模型，类似OpenAI,千帆大模型等都是在线接入的方式，需要有相应的账号和API Key，如果要通过本地运行，应该选择Ollama，Ollama是一个支持在本地运行的大模型框架。
可以在Ollama的模型库中选择需要的模型及其执行命令，并在命令窗口中执行
本文选择在Ollama中搭载通义千问的大模型。

ollama run qwen:7b

由于我电脑的显存只有10G，因此选择了最大的选择qwen:7b。面向中文的文档和知识库构建，国产的大模型对中文的理解会更好。
点击系统设置->模型设置中选择Ollama新建模型，如下图所示：

模型名称和基础模型都尽量填写和该模型相关的名称，模型类型选择大语言模型，API域名填写API域名：http://host.docker.internal:11434，API Key可以随意填写。

3. 测试

在模型添加完毕并且命令窗口成功运行之后，可以在命令窗口测试和LLM是否能够正常进行对话。

4. 创建应用

模型名称和模型描述都可以简要概括，AI模型选择创建好的模型，可以对提示词进行适当的修改以得到更好的输出，并且把多轮对话打开，添加我们所创建好的知识库。

完成之后，直接发布并进行对话即可。