langchain 加载 csv,json
csv
from langchain_community.document_loaders.csv_loader import CSVLoader
loader = CSVLoader(file_path='data/专业描述.csv', csv_args={
'delimiter': ',',
'quotechar': '"',
'fieldnames': ['专业', '描述']
}, encoding='utf8', source_column='专业')
data = loader.load()
print(data)
-
'quotechar': '"'
: 设置了引用字符为双引号("
)。在CSV文件中,如果某个字段值本身包含逗号或其他特殊字符,或者整个字段需要被视为一个不可分割的整体,通常会使用双引号将其包围起来。这里的设定告诉解析器如何正确识别和处理被引号包裹的字段值。 -
'fieldnames': ['专业', '描述']
: 提供了列名列表。如果CSV文件的第一行没有列名(或者不希望使用第一行作为列名),可以在这里显式指定列名。在这个例子中,列名分别为“专业”和“描述”,对应到CSV文件中两列数据的实际含义。 -
source_column:
'专业'
指定了一个特定的列名。这个参数的意义可能依赖于CSVLoader
的具体实现细节。在某些上下文中,它可能用于指定作为后续处理主键或关键属性的列,在回溯某一行的时候可能有用
json
from langchain_community.document_loaders import JSONLoader
import json
from pathlib import Path
from pprint import pprint
file_path = 'data/json_str.json'
data = json.loads(Path(file_path).read_text(encoding='utf8'))
pprint(data)
json分割
import json
import requests
json_data = requests.get("https://api.smith.langchain.com/openapi.json").json()
from langchain_text_splitters import RecursiveJsonSplitter
splitter = RecursiveJsonSplitter(max_chunk_size=300)
# 最好的选择
json_chunks = splitter.split_json(json_data=json_data) # json_data 为字典
# 把 json 当字符串了,不是最优方法
docs = splitter.create_documents(texts=[json_data])
# 也把 json 当字符串了,但结果跟 split_json 一样
texts = splitter.split_text(json_data=json_data)
print(texts[0])
print(texts[1])
原文地址:https://blog.csdn.net/zjkpy_5/article/details/137727850
免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!