大模型本地部署实践：Ollama+Open-WebUI（MacOS）
目录
什么是Ollama
Ollama是一个为简化大语言模型本地部署与交互的开源框架。它提供了用户友好的接口，帮助开发者和模型爱好者在没有依赖外部API的基础上高效地运行、管理和定制大语言模型。
Ollama支持各种各样的开源大模型，包括但不限于：
Llama系列、Mistral系列、Qwen系列、Gemma系列等，可以在官方Library浏览支持的模型：
libraryGet up and running with large language models.
https://ollama.com/library
注意：请保证至少有8GB RAM来运行7B模型，16GB来运行13B模型，33B模型则至少需要32GB RAM。
Ollama安装
进入Ollama官网点击下载：Ollama
根据安装程序安装完成后，在命令行输入如下指令：
ollama run llama3.2运行指令后，将会自动下载并安装本地运行的Llama3.2模型 
下载完成后即可对话。
若想结束对话：
/bye若想删除以下载的模型，运行如下命令：
ollama rm <model_name>后续想要再运行模型，需要记得启动Ollama哦～
对话界面可视化？Open-WebUI！
Open WebUI是一个功能丰富、可扩展且用户友好的大模型运行WebUI。它支持包括Ollama和OpenAI compatible APIs。
安装Open-WebUI
首先，Open-WebUI需要Docker环境：安装Docker DeskTop
Docker Desktop: The #1 Containerization Tool for Developers | Docker
Docker运行后，如果Ollama部署在本地，在命令行使用下述命令即可运行：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main这个命令将8080端口映射至3000，只需要在浏览器中输入：http://localhost:3000 即可访问。
（open-webui启动需要一定时间，所以可以过一段时间后再访问3000端口）
启动后，登录帐号即可使用Open-WebUI来和大模型对话啦～
停止运行Open-WebUI：
docker stop open-webui更多信息可查看Open-WebUI官方文档：⭐ Features | Open WebUI
原文地址：https://blog.csdn.net/Landy_Jay/article/details/143893485
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！