基于开源大模型的问答系统本地部署实战教程

1. 现有大模型产品使用感受     

        在开始教你搭建属于自己的本地大模型之前，先说下自己日常使用大模型的感受。常用的比较好的国外大模型工具，经常会遇到网络卡或者token数量、使用次数限制的问题。而国内的大模型工具虽然不存在网络的问题，但总担心自身数据存在泄露的风险。因此，为了摆脱这类疑虑，开始了本地大模型部署和使用。本次分享的课程，不需要有强计算机背景的同学都可以操作，还是比较通用简单的。

2. 本地版本大模型问答系统初览

 图1. 基于ollama实现的本地大模型问答系统

        图1展示的是我们本地部署的问答系统版本，模型可以任意选择，几乎支持开源的各类主流大模型。从界面、使用体验等维度来说还是不错的。本地资源足够，推理的速度很不错。

3. 本地部署问答系统实战

         接下来会以macOS系统为例讲解。

3.1 下载并安装ollama

图2. ollama首页及不同版本下载界面      

        下载完毕后，就直接安装到底，看到图3最右侧的ollama标识，说明你已经安装完成了。

图3. ollama安装状态

3.2 选择大模型版本并运行
        回到ollama官网，找到模型列表入口，如图4所示，ollama提供了非常多的开源大模型可供使用，假如你本地的资源足够，可以直接用上目前开源领域效果最佳的llama 3.1版本，各项指标都处于目前开源领域的前列，相比闭源也有一定的优势。      

图4. ollama提供的大模型文件

        为了演示方便，我们这边使用qwen的0.5B版本，大小为300-400MB左右，如图5所示，复制红框所示的运行命令，打开terminal执行命令，看到success，说明已经安装成功，这个时候已经可以直接对话了。

        我问了一个问题，翻译的还不错，哈哈。

Q：请把以下这段话翻译成英文：你也可以打造属于自己的聊天工具。

A：You can also create your own chat tool.

图5. 运行指定的大模型并对话实验

3.3 安装webUI
        虽然已经可以对话了，但是没有web界面，没法操作很多其他的功能，比如上传文件、语音、图片等，总感觉不方便，对吧。接下来我们开始安装页面端，也就是拥有文章一开始图1的界面使用体验。

        首先到docker官网下载对应版本安装docker，如图6所示。Docker是一组平台即服务（PaaS）的产品。它基于操作系统层级的虚拟化技术，将软件与其依赖项打包为容器。

图6. docker安装

        接下来，到github下载Open WebUI，复制对应的镜像启动命令，这里会有一些不同的选项，需要根据你自己的实际情况下载，因为我的ollama部署在本地电脑，所以选择第一条指令，如图7所示。

图7. Open WebUI安装

        执行完刚才的docker run指令后，回到docker管理界面，就可以看到红框部分的容器信息。

图8. 执行docker指令

     在浏览器中输入http://localhost:3000/auth/， 就出现了注册和登录信息，注册一下账号。登录之后就可以使用基于webUI的自有大模型问答系统进行对话啦，还能上传文件进行处理。

图9. webUI搭建完成选择相应llm模型

图10. 本地大模型问答系统体验

        以上就是搭建属于你自己的开源大模型问答系统教程了。对了，首次注册的账号，会自己成为管理员账号，这个注意一下。也可以自行去做更多的定制。

原文地址：https://blog.csdn.net/weixin_65514978/article/details/140714456

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！