Python 爬虫
一、创建项目
1.双击打开pycharm,点击新建项目
2.项目设置
- 勾选[继承全局站点软件包]
- 勾选[可用于所有项目]
- 取消勾选[创建main.py欢迎脚本]
- 点击创建
3.项目名称右键--新建--python文件
4.输入文件名--回车
二、编辑代码
# 导入请求模块
import requests
# 如果报错,需要先安装模块
# windows:cmd中执行:pip install requests
# Mac: 终端中执行:pip3 install requests
# 视频url
# url获取方式:
# 1.首先打开视频的网页,然后打开开发者工具
# 2.选中网络(Network) 选中媒体(Media)
# 3.点击上方刷新按钮,就能看见一条或者两条数据
# 4.点击这条数据,右侧出现“标头”,在“标头”的“常规”下面,找到“请求网址”即为url,复制过来
url = ''
# 使用requests的get获取网站的响应
res = requests.get(url)
# 打开一个空的视频,把得到res.content放进去,得到一个可以播放的视频
open('KSVideo.mp4','wb').write(res.content)
有的网站视频和音频是分开的,url也是分开的,需要分开抓取,获取视频、音频url方式如下
1.首先打开视频的网页,然后打开开发者工具
2.选中网络(Network) 点击全部(All)
3.点击上方刷新按钮,下方能看到很多条数据,点击数据上方的“大小”,使多条数据从大到小排列。点击最上面的(最大的那一条),右侧出现“标头”,在“标头”的“常规”下面,找到“请求网址”即为视频url。然后点击下面的几条找到音频的url。
# 导入请求库
import requests
# 视频URL
videourl = ''
# 构造伪装信息
# user-agent、referer、cookie在上面截图右侧【标头】下方获取,没有的值空着就行
headers = {'user-agent':'','referer':'','cookie':''}
# 带上伪装信息去请求
res = requests.get(videourl,headers=headers)
# 打开一个文件并且写入
open('video.mp4','wb').write(res.content)
# 音频url
audiourl = ''
# 构造伪装信息
# user-agent、referer、cookie在上面截图右侧【标头】下方获取,没有的值空着就行
headers1 = {'user-agent':'','referer':'','cookie':''}
# 带上伪装信息去请求
resaudio = requests.get(audiourl,headers=headers1)
# 打开一个文件并且写入
open('audio.mp3','wb').write(resaudio.content)
原文地址:https://blog.csdn.net/feng2qing/article/details/144803298
免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!