AGI 之 【Dify】 之 Dify 在 Windows 端本地部署调用 Ollama 本地下载的大模型，实现聊天对话
AGI 之 【Dify】 之 Dify 在 Windows 端本地部署调用 Ollama 本地下载的大模型，实现聊天对话
目录
AGI 之 【Dify】 之 Dify 在 Windows 端本地部署调用 Ollama 本地下载的大模型，实现聊天对话
一、简单介绍
AGI，即通用人工智能（Artificial General Intelligence），是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务，而且能够理解、学习和应用知识于广泛的问题解决中，具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整，并能在没有人为干预的情况下解决各种复杂问题。
Dify 是一个开源的大语言模型（LLM）应用开发平台，它旨在简化和加速生成式 AI 应用的创建和部署。这个平台结合了后端即服务（Backend as Service, BaaS）和 LLMOps 的理念，为开发者提供了一个用户友好的界面和一系列强大的工具，使他们能够快速搭建生产级的 AI 应用。
Dify 的核心功能包括：
- 低代码/无代码开发：通过可视化的方式允许开发者轻松定义 Prompt、上下文和插件等，无需深入底层技术细节。
- 模块化设计：采用模块化的设计，每个模块都有清晰的功能和接口，可以根据需求选择性地使用。
- 丰富的功能组件：包括 AI 工作流、RAG 管道、Agent、模型管理、可观测性功能等，帮助开发者从原型到生产的全过程。
- 支持多种大语言模型：已支持 OpenAI GPT 系列等模型，并计划进一步扩展。
- 数据处理和特征工程工具：提供了数据清洗、特征选择、特征变换等功能，帮助开发者更好地准备数据。
- 集成外部知识源：允许自定义 API 接入外部知识源，让大型语言模型深入理解企业知识和业务。
Dify 提供了四种基于 LLM 构建的应用程序，可以针对不同的应用场景和需求进行优化和定制，包括聊天助手、文本生成、智能代理和工作流程。此外，Dify 还支持从 Notion 导入数据，并设置同步，使得数据在 Notion 更新后便自动同步到 Dify。Dify 中存在知识库数据集的单独 API，这与他的服务 API 不同，可以单独使用数据集的 API。
Ollama 是一个开源的本地大型语言模型（LLM）运行框架，它旨在简化在本地运行大型语言模型的过程。Ollama 提供了一个简洁易用的命令行界面和服务器，让你能够轻松下载、运行和管理各种开源大型语言模型，如 Llama 3、Mistral、Qwen2 等。
Ollama 的一些主要特点包括：
- 开源免费：Ollama 及其支持的模型完全开源免费，任何人都可以自由使用、修改和分发。
- 简单易用：无需复杂的配置和安装过程，只需几条命令即可启动和运行 Ollama。
- 模型丰富：Ollama 支持多种热门开源大型语言模型，并提供一键下载和切换功能。
- 资源占用低：相比于商业大型语言模型，Ollama 对硬件要求更低，即使在普通笔记本电脑上也能流畅运行。
- 社区活跃：Ollama 拥有庞大且活跃的社区，用户可以轻松获取帮助、分享经验和参与模型开发。
二、 Ollama 下载安装
Ollama 官网：https://ollama.com/
1、到官网下载 Ollama ，根据自己的平台选择需要下载的安装包
Ollama 下载地址：https://ollama.com/download
2、下载完之后，双击运行安装即可
3、安装完后，打开 cmd ，输入 ollama 下面表示 Ollama 已经安装号
4、启动了 Ollama ，在 浏览器中输入 指定网址显示 Ollama 正在运行中
网址：http://localhost:11434
三、Ollama 下载 LLM 模型，并运行
1、在 Ollama Models 搜索需要 LLM 模型
这里是搜索千问 Qwen
2、这里选择 qwen 2.5 的 1.5b 的模型，同时旁边也有 运行的命令
3、在 cmd 中输入上面的命令下载模型并运行
命令：ollama run qwen2.5:1.5b
4、下载成功后，就会可以输入问题进行提问了
四、添加本地 Ollama 模型到 Dify
Dify 本地部署参见：AGI 之 【Dify】 之 使用 Docker 在 Windows 端本地部署 Dify 大语言模型（LLM）应用开发平台
1、登录 本地部署的 Dify，在进入设置
2、在设置中选中“模型供应商”，然后添加 Ollama 模型
3、在 cmd 中查看 Ollama 部署的模型，使用 NAME 已下载的模型名称，用于后面进行添加
命令：ollama list
4、添加模型，设置这里添加 qwen2.5:1.5b 模型，进行相关配置后，保存
5、随后，在模型列表中就可以看到添加的模型
五、Dify 调用 Ollama 模型，创建聊天应用
Dify 本地部署参见：AGI 之 【Dify】 之 使用 Docker 在 Windows 端本地部署 Dify 大语言模型（LLM）应用开发平台
1、登录 本地部署的 Dify，点击“创建空白应用”
2、填写应用名称和描述，更加需要更换图标，这里应用类型选中 “聊天助手”,点击创建
3、创建效果如下，得到了一个聊天应用，这里由于目前只有一个模型，默认选择了刚才添加的
4、如果模型多的话，可以根据需要选择需要的模型
5、可以在如图位置，输入问题进行提问
6、还可以发布，运行到网页上
附录：其他
一、更改 Ollama 模型下载默认路径地址
Ollama 默认模型下载在 C 盘，根据需要更改下载位置哈
1、打开环境变量设置
2、如果没有 OLLAMA_MODELS 环境变量，设置自己需要的路径，确定保存
3、要生效，记得重启一下 Ollama 应用
原文地址：https://blog.csdn.net/u014361280/article/details/142916830
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！