自学内容网 自学内容网

langchain加载本地词向量模型

1. 准备本地词向量模型

以从 huggingface 上下载BAAI/bge-m3模型为例

手动下载图片上的每一个文件(夹)。注意,是每一个文件(夹)都要下载。我就是少下载了一个1_Pooling 文件夹,结果在加载模型的时候一直报错,搞了大半天才找到原因。

2. 加载词向量模型

from langchain_community.embeddings import HuggingFaceBgeEmbeddings

model_name = "F:/llm/embedding_models/BAAI/bge-m3"
model_kwargs = {"device": "cpu"}
encode_kwargs = {"normalize_embeddings": True}
hf = HuggingFaceBgeEmbeddings(model_name=model_name, model_kwargs=model_kwargs, encode_kwargs=encode_kwargs)

原文地址:https://blog.csdn.net/weixin_43507865/article/details/140695549

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!