【AI】本地部署可以与文件沟通的GPT：Llama 2 + GPT4All + Chroma
【背景】
还是继续致力于实践可以保护数据隐私的本地化LLM部署。
这次用的是Llama 2 + GPT4All + Chroma实现RAG。
【概念】
基于LangChain模板的各个部分的作用：
- Llama2-》语言模型管理
- GPT4ALL-》embedding
- Chroma-》文件内容的向量存储，作为内部知识库，不需要网络就可以存储。
【环境构建】
- 安装Ollama
在Linux或Windows的WSL下，使用命令：
curl https://ollama.ai/install.sh | sh
- 利用Ollama下载一款LLM模型
比如，下载一个llama2 7b chat模型：
ollama pull llama2:7b-chat
- 安装LangChain命令行工具CLI：
pip install -U langchain-cli
原文地址：https://blog.csdn.net/weixin_41697242/article/details/137827139
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！