ollama
ollama是一个简明易用的本地大模型运行框架,只需一条命令即可在本地跑大模型。开源项目，专注于开发和部署先进的大型语言模型（LLM）
官网： https://ollama/ 下载地址：https://ollama/download/windows
双击下载的OllamaSetup.exe，无脑安装
下载qwen2.5大模型文件
Qwen2.5-Coder基于Qwen2.5基础大模型进行初始化，使用源代码、文本代码混合数据，偏向于编程领域的模型，这里大家根据自己的需求进行选择模型
默认是7b，但是需要切换下，这样右边的命令参数才会变 ollama run qwen2.5-coder:7b
这里的b代表的是参数数据
1b是10亿参数，通常1B，意味着需要机器需要1G以上的内存，大的数据通常在需要更高性能的任务中使用，这里可以根据自身的电脑配置情况进行选择
打开cmd窗口进行下载（这里默认安装会在C盘消耗你十几个G的磁盘空间）
指定模型下载路径 OLLAMA_MODELS
如果设置完环境变量发现下载还在C盘，重启下电脑重新下载，如果下载到C盘想要迁移的，
打开C:\Users\Administrator\.ollama\models，将这里面的内容迁移到指定的路径下
安装open-webui（web图形化聊天）
找到open-webui的项目代码，官网：https://github/open-webui/open-webui 网页搜索how to Install，然后往下一点
方案一：docker安装
Windows上安装docker：https://blog.csdn/YXWik/article/details/128254108
方案二：pip安装
需要 Python ：https://blog.csdn/YXWik/article/details/143856494
安装Open WebUI：打开你的终端并运行以下命令：
pip install open-webui
启动 Open WebUI：安装完成后，使用以下命令启动服务器：
open-webui serve
安装后，可以在 http://localhost:8080 访问Open WebUI
如果有需要更新：
pip install --upgrade open-webui
Python3.13.0版本安装open-webui时报错
安装python3.11.0 并切换 pyenv global 3.11.0
然后再安装
报错 ERROR: THESE PACKAGES DO NOT MATCH THE HASHES FROM THE REQUIREMENTS FILE
升级 pip：python.exe -m pip install --upgrade pip
进入python3.11.0文件夹下，在此打开cmd窗口进行升级 然后刷新 pyenv rehash
启动 Open WebUI：安装完成后，使用以下命令启动服务器：open-webui serve
访问Open WebUI： http://localhost:8080
报错OSError: We couldn’t connect to ‘https://huggingface.co’ to load this file, couldn’t find it in the cached files and it
looks like sentence-transformers/all-MiniLM-L6-v2 is not the path to a directory containing a file named config.json.
Checkout your internet connection or see how to run the library in offline mode at
‘https://huggingface.co/docs/transformers/installation#offline-mode’.
原因:open-webui启动时期需要首先在线安装transformers库，但是huggingface.co对于国内来说是经常不可访问
解决方案：
配置环境变量：HF_ENDPOINT ，设置其代理镜像网站：https://hf-mirror
设置完之后使用cmd窗口为生效，可以用powerShell进行启动，在桌面 按 Shift+鼠标右键
在powerShell中启动：open-webui serve
docker启动时也会遇到此问题需要增加HF_ENDPOINT参数解决：
docker run -d -e HF_ENDPOINT=https://hf-mirror.com -p 3000:8080 -e OLLAMA_BASE_URL=http://192.168.0.116:11434 -v open-webui/backend/data:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
首次访问需要注册
注册成功自动登录然后选择模型
如果有需要更新：pip install --upgrade open-webui
修改huggingface缓存位置
C:\Users\xxx.cache\huggingface\hub
修改缓存位置
修改环境变量HUGGINGFACE_HUB_CACHE
ollama
ollama是一个简明易用的本地大模型运行框架,只需一条命令即可在本地跑大模型。开源项目，专注于开发和部署先进的大型语言模型（LLM）
官网： https://ollama/ 下载地址：https://ollama/download/windows
双击下载的OllamaSetup.exe，无脑安装
下载qwen2.5大模型文件
Qwen2.5-Coder基于Qwen2.5基础大模型进行初始化，使用源代码、文本代码混合数据，偏向于编程领域的模型，这里大家根据自己的需求进行选择模型
默认是7b，但是需要切换下，这样右边的命令参数才会变 ollama run qwen2.5-coder:7b
这里的b代表的是参数数据
1b是10亿参数，通常1B，意味着需要机器需要1G以上的内存，大的数据通常在需要更高性能的任务中使用，这里可以根据自身的电脑配置情况进行选择
打开cmd窗口进行下载（这里默认安装会在C盘消耗你十几个G的磁盘空间）
指定模型下载路径 OLLAMA_MODELS
如果设置完环境变量发现下载还在C盘，重启下电脑重新下载，如果下载到C盘想要迁移的，
打开C:\Users\Administrator\.ollama\models，将这里面的内容迁移到指定的路径下
安装open-webui（web图形化聊天）
找到open-webui的项目代码，官网：https://github/open-webui/open-webui 网页搜索how to Install，然后往下一点
方案一：docker安装
Windows上安装docker：https://blog.csdn/YXWik/article/details/128254108
方案二：pip安装
需要 Python ：https://blog.csdn/YXWik/article/details/143856494
安装Open WebUI：打开你的终端并运行以下命令：
pip install open-webui
启动 Open WebUI：安装完成后，使用以下命令启动服务器：
open-webui serve
安装后，可以在 http://localhost:8080 访问Open WebUI
如果有需要更新：
pip install --upgrade open-webui
Python3.13.0版本安装open-webui时报错
安装python3.11.0 并切换 pyenv global 3.11.0
然后再安装
报错 ERROR: THESE PACKAGES DO NOT MATCH THE HASHES FROM THE REQUIREMENTS FILE
升级 pip：python.exe -m pip install --upgrade pip
进入python3.11.0文件夹下，在此打开cmd窗口进行升级 然后刷新 pyenv rehash
启动 Open WebUI：安装完成后，使用以下命令启动服务器：open-webui serve
访问Open WebUI： http://localhost:8080
报错OSError: We couldn’t connect to ‘https://huggingface.co’ to load this file, couldn’t find it in the cached files and it
looks like sentence-transformers/all-MiniLM-L6-v2 is not the path to a directory containing a file named config.json.
Checkout your internet connection or see how to run the library in offline mode at
‘https://huggingface.co/docs/transformers/installation#offline-mode’.
原因:open-webui启动时期需要首先在线安装transformers库，但是huggingface.co对于国内来说是经常不可访问
解决方案：
配置环境变量：HF_ENDPOINT ，设置其代理镜像网站：https://hf-mirror
设置完之后使用cmd窗口为生效，可以用powerShell进行启动，在桌面 按 Shift+鼠标右键
在powerShell中启动：open-webui serve
docker启动时也会遇到此问题需要增加HF_ENDPOINT参数解决：
docker run -d -e HF_ENDPOINT=https://hf-mirror.com -p 3000:8080 -e OLLAMA_BASE_URL=http://192.168.0.116:11434 -v open-webui/backend/data:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
首次访问需要注册
注册成功自动登录然后选择模型
如果有需要更新：pip install --upgrade open-webui
修改huggingface缓存位置
C:\Users\xxx.cache\huggingface\hub
修改缓存位置
修改环境变量HUGGINGFACE_HUB_CACHE