ollama的本地部署内含推荐模型！

下载ollama

1.从官网（https://ollama.com/）下载ollama软件并且安装 注意软件是默认安装在C盘

打开cmd后输入：查看命令ollama --version

查看模型仓库：ollama list
显示模型信息: ollama show
在cmd中去拉模型: ollama pull 模型名称
删除模型：ollama rm 模型名称

测试ollama运行状态：http://localhost:11434（访问网址）出现Ollama is running即使正在运行，如果连接打不开就是没在运行。

更改环境变量

1.查看环境变量：

1. 右键点击“此电脑”或“计算机”，选择“属性”。
2. 点击“高级系统设置”。 在“高级”选项卡中，点击“环境变量”。
3. 在这里，您可以看到“用户变量”和“系统变量”两个部分。
4. 用户变量仅对当前用户有效，而系统变量对所有用户都有效。

2.设置环境变量：
在“用户变量”或“系统变量”部分，点击“新建”来创建一个新的环境变量。
输入变量名和变量值。 点击“确定”保存更改。

3.更改模型下载位置

OLLAMA_MODELS	D:\path\Ollama\Ollama_models（模型位置）

安装模型

我的笔记本是一台 4年前的笔记本，CPU i7-10代，内存 48G ，显卡 GTX 1650 4G。显卡虽然弱鸡，但很幸运能支持CUDA11.1。
因此我选择几个4bit的模型为主：
打开ollama在cmd中运行下载模型指令
1.ollama run qwen 14b
2.ollama run qwen 7b
3.ollama run qwen 1.8b
4.ollama run bge-large-zh-v1.5-f16

本人建议使用1.8b回答的速度非常快！

安装webui界面

webui界面可以使用两种方式分别是docker和node.js

第一种首先安装docker（https://www.docker.com/）
docker安装完成后记得换源不然下载webui会很慢。
Docker安装完成后打开电脑终端(cmd)输入以下指令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

下载完docker运行镜像即可。
第二种node安装
首先安装git和node（node建议安装最新版）
首先用git克隆open ui到本地：

git clone https://github.com/openui/open-ui.git
cd open-ui

进入项目目录后，安装项目依赖：

npm install

启动开发服务器
安装完成后，启动开发服务器：

npm start

现在，你可以在浏览器中访问 http://localhost:3000 查看项目运行情况。

注意！！！
本人在使用node安装Open UI的时候发现openui0.4.0版本开始不能获取到你本地的ollama模型，所以我建议你使用docker或者git拉取openui0.3.8以下的版本！

原文地址：https://blog.csdn.net/qq_68890680/article/details/143895593

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！