自学内容网 自学内容网

Python 爬虫

一、创建项目

1.双击打开pycharm,点击新建项目
2.项目设置
- 勾选[继承全局站点软件包]
- 勾选[可用于所有项目]
- 取消勾选[创建main.py欢迎脚本]
- 点击创建
3.项目名称右键--新建--python文件
4.输入文件名--回车

二、编辑代码

# 导入请求模块
import requests
# 如果报错,需要先安装模块
# windows:cmd中执行:pip install requests
# Mac:       终端中执行:pip3 install requests


# 视频url
# url获取方式:
# 1.首先打开视频的网页,然后打开开发者工具
# 2.选中网络(Network)   选中媒体(Media)
# 3.点击上方刷新按钮,就能看见一条或者两条数据
# 4.点击这条数据,右侧出现“标头”,在“标头”的“常规”下面,找到“请求网址”即为url,复制过来
url = ''

# 使用requests的get获取网站的响应
res = requests.get(url)

# 打开一个空的视频,把得到res.content放进去,得到一个可以播放的视频
open('KSVideo.mp4','wb').write(res.content)

有的网站视频和音频是分开的,url也是分开的,需要分开抓取,获取视频、音频url方式如下

1.首先打开视频的网页,然后打开开发者工具
2.选中网络(Network) 点击全部(All)
3.点击上方刷新按钮,下方能看到很多条数据,点击数据上方的“大小”,使多条数据从大到小排列。点击最上面的(最大的那一条)右侧出现“标头”,在“标头”的“常规”下面,找到“请求网址”即为视频url。然后点击下面的几条找到音频的url。

在这里插入图片描述

# 导入请求库
import requests
# 视频URL
videourl = ''
# 构造伪装信息
# user-agent、referer、cookie在上面截图右侧【标头】下方获取,没有的值空着就行
headers = {'user-agent':'','referer':'','cookie':''}
# 带上伪装信息去请求
res = requests.get(videourl,headers=headers)
# 打开一个文件并且写入
open('video.mp4','wb').write(res.content)
# 音频url
audiourl = ''
# 构造伪装信息
# user-agent、referer、cookie在上面截图右侧【标头】下方获取,没有的值空着就行
headers1 = {'user-agent':'','referer':'','cookie':''}
# 带上伪装信息去请求
resaudio = requests.get(audiourl,headers=headers1)
# 打开一个文件并且写入
open('audio.mp3','wb').write(resaudio.content)

原文地址:https://blog.csdn.net/feng2qing/article/details/144803298

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!