自学内容网 自学内容网

python request库的使用

安装和使用

        requests库支持python3.8+,注意版本

pip install requests

        在项目中引用时如下:

import requests

访问网站

        request访问网站一般用get和post两种方式

        get

        requests库提供了get方法,可以用get方式访问网站,相当于在浏览器输入网址直接访问

import requests

url = "https://httpbin.org/ip"

reponse = requests.get(url=url)

        get方法有时需要参数,get方式可以用params参数携带。

import requests

url = "https://httpbin.org/get"
data = {
    "key1":"value1",
    "key2":"value3",
    "key3":"value3",
}

reponse = requests.get(url=url,params=data)

        post

使用方式和get基本相同,只是传递参数时的属性名不同

import requests

url = "https://httpbin.org/post"

data = {
    "name":"测试"
}
# post请求获取数据并向页面传递数据
reponse = requests.post(url,data=data)

请求头

        请求头通过header参数设置,get和post都可以通过此参数设置请求头 。

import requests

header = {
    "user-agent" : "Mozilla/5.0 (Windows N Edg/129.0.0.0"
}
url = "https://httpbin.org/get"
reponse = requests.get(url,headers=header)

        header中的信息可以去浏览器控制台获取

        首先访问要爬取的网站,然后在控制台网络下找到网页文件,找到对应信息即可。一般都是网络中的第一个文件,文档类型为document。

        请求标头中的就是我们可以设置的。 

获取页面 

        在上面的代码中我们用reponse接收了请求的结果,reponse有很多属性。若直接print(reponse)则会显示状态码信息。

        reponse的属性如下:

  1. status_code: 整数,HTTP请求的返回状态码,如200表示成功,404表示未找到资源。

  2. url: 字符串,最终获取资源的URL。在重定向的情况下,这可能与原始请求的URL不同。

  3. headersCaseInsensitiveDict类型的字典,包含服务器响应的HTTP头部信息。这个字典对键不区分大小写。

  4. encoding: 字符串,从HTTP头部中猜测的响应内容编码方式。如果头部中没有指定charset,则默认为ISO-8859-1。

  5. apparent_encoding: 字符串,从内容中分析出的响应内容编码方式,通常比encoding更准确。

  6. text: 字符串,HTTP响应内容的文本形式。根据HTTP头部中的编码(默认为ISO-8859-1)或apparent_encoding来解码。

  7. content: 二进制数据,HTTP响应内容的原始二进制形式。在处理非文本响应(如图片、视频等)时非常有用。

  8. json(): 方法,不是属性,但非常重要。尝试将响应内容解析为JSON格式。如果内容不是有效的JSON,将抛出异常。

  9. linksRequestsLinkHeader对象(或类似),解析Link头部字段的值,提供了对分页链接等信息的便捷访问(尽管这取决于服务器是否提供了Link头部)。

  10. history: 列表,包含了一个或多个Response对象,表示请求过程中的重定向历史。如果请求没有被重定向,这个列表将是空的。

  11. cookiesRequestsCookieJar对象,包含从服务器发送回来的cookie信息。注意,这些cookie不会自动用于后续的请求,除非你使用了Session对象。

  12. elapseddatetime.timedelta对象,表示从发送请求到接收响应之间的时间差。

  13. request: 发送此响应的PreparedRequest对象。这个对象可以用来进一步分析或重新发送请求。

  14. status_line: 字符串,完整的HTTP状态行,如"200 OK"

  15. close(): 方法,不是属性,但值得一提。用于关闭与响应相关的文件描述符。通常,在大多数情况下,你不需要手动调用此方法,因为Requests库会在处理完响应后自动为你关闭它们。然而,在某些情况下,如果你想要立即释放系统资源,可以手动调用此方法。

可以通过reponse.属性名来访问:

         

         其中较为常用的有text,encoding,header,json(),cookie

cookie

        cookie是浏览器保存在本地的一些数据,记录一些用户信息。可以先在浏览器中登录然后控制台中拿到cookie。

import requests

# url = "https://baidu.com"
url = "https://httpbin.org/cookies"
# 请求头信息
header = {
    "user-agent":"Mozilla/5.0 (Win.36 Edg/129.0.0.0"
}
# 设置cookie
cookies = dict(cookies_args="hello world")
# 两种写法均可
# cookies = {  
#     'username': 'john_doe',  
#     'session_token': 'abcdef123456'  
# }  

reponse = requests.get(url,headers=header,cookies=cookies)

保存数据

        保存数据一般是保存request.content或request.text,写入到本地即可。一般的网页用w模式即可。

        这里的代码用到了bs4,于明天的推文中详解。

import requests
from bs4 import BeautifulSoup

url = "https://bj.zu.ke.com/zufang"

header = {
    "user-agent":"Mozilla/5.0 (Windows NT 9.0.0.0"
}

reponse = requests.get(url,headers=header)
soup = BeautifulSoup(reponse.text)
links = soup.select("a.twoline")
print(links)
links = [f"https://sy.zu.ke.com{i.attrs.get('href')}" for i in links]
for i in links:
    reponse = requests.get(i,headers=header)
    with open(f"./house/{i[29:50]}.html","w",encoding="utf-8") as f:
        f.write(reponse.text)

        如果网站对应的是图片或者视频等二进制文件,应使用reponse.content,同时打开模式应改为wb。


原文地址:https://blog.csdn.net/mecende/article/details/142458588

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!