【Python-爬虫】
Python-爬虫
■ 爬虫分类
■ 1. 通用网络爬虫：（搜索引擎使用，遵守robots协议）
■ robots协议（君子协议）
robots协议：通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取
网页后面加 robots.txt 查看网站robots协议。
实例一：www.qq.com/robots.txt
■ 2. 聚集网络爬虫：自己写的爬虫程序
■ urllib.request（请求模块）
作用： 向网站发送请求，即：我们平时在浏览器输入地址访问网站一样。
| 函数 | 作用 | 参数 |
|---|---|---|
| urllib.request.urlopen(URL,timeout) | 作用 | URL：需要爬取的URL地址 timeout：设置等待超时时间，指定时间内未响应抛出超时异常。 |
| urllib.request.Request() | 包装请求，重构User-Agent，使用程序更新正常人类请求 | URL：请求的URL地址 headers：添加请求头，类型为字典headers= {‘User-Agent’：} |
■ 示例一：01_Request.py 向百度发送请求，并获取http响应码
from
■ 示例二：02_Request.py
from
■ 示例三：03_Request.py
from
■ 请求头（headers）User-Agent
作用： User-Agent 有游览器，操作系统信息。
■ 知识点一：向测试网站： http://httpbin.org/get 发送请求，会返回我们的请求头User-Agent内容。
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 Edg/124.0.0.0
■ 知识点二：写的py代码的User-Agent：是Python-urllib/3.7，这样子很容易被服务器知道你是爬虫访问的，所以在发送请求前指定一个User-Agent
■ urllib.parse（编码模块）
作用：给URL地址中查询参数进行编码
■ 知识点一：对中文进行编码后再发送请求。
■ 正则表达式re模块
■ 1.
■ 2.
■ 3.
■ 数据持久化
■ 1. 数据持久化-CSV
■ 2. 数据持久化-MySQL
■ 3. 数据持久化-MongoDB
■ 多级页面抓取
■ 1.
■ 2.
■ 3.
■ requests模块
■ 1.
■ 2.
■ 3.
■ 互联网图片抓取
■ Chrome浏览器插件
■ xpath语法解析
■ 1. lxml+xpath解析提取数据
■ 2.
■ Json解析模块
■ 1.
■ 2.
■ 3.
■ Cookie
■ 1.
■ 2.
■ 3.
■ Selenium
■ 1.
■ 2.
■ 3.
■ 中间件
■ 1.
■ 2.
■ 3.
■ Scrapy
■ 1 Scrapy-框架原理
■ 2 Scrapy-
■ 3 Scrapy-
■ 分布式爬虫原理
■ 1.
■ 2.
■ 3.
■ 机器视觉
■ 1.
■ 2.
■ 3.
■ 极限滑块验证码破解
■ 1.
■ 2.
■ 3.
■ 移动端数据抓取
■ 1.
■ 2.
■ 3.
原文地址：https://blog.csdn.net/sinat_23896491/article/details/138734262
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！