大模型爬虫—ScrapeGraphAI
大模型爬虫—ScrapeGraphAI
一、介绍
ScrapeGraphAI是一个网络爬虫 Python 库,使用大型语言模型和直接图逻辑为网站和本地文档(XML,HTML,JSON 等)创建爬取管道。
只需告诉库您想提取哪些信息,它将为您完成!
scrapegraphai有三种主要的爬取管道可用于从网站(或本地文件)提取信息:
SmartScraperGraph
: 单页爬虫,只需用户提示和输入源;SearchGraph
: 多页爬虫,从搜索引擎的前 n 个搜索结果中提取信息;SpeechGraph
: 单页爬虫,从网站提取信息并生成音频文件。SmartScraperMultiGraph
: 多页爬虫,给定一个提示 可以通过 API 使用不同的 LLM,如 OpenAI,
原文地址:https://blog.csdn.net/king14bhhb/article/details/142377127
免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!