自学内容网 自学内容网

python爬虫Selenium模块及测试案例详解

什么是selenium?

(1)Selenium是一个用于Web应用程序测试的工具。
(2)Selenium 测试直接运行在浏览器中,就像真正的用户在操作一样。
(3)支持通过各种driver(FirfoxDriver,IternetExplorerDriver,OperaDriver,ChromeDriver)
(4)selenium也是支持无界面浏览器操作的。

为什么使用selenium?

模拟浏览器功能,自动执行网页中的js代码,实现动态加载

selenium的基本使用

由于selenium是进行浏览器模型,所以需要浏览器驱动。
浏览器设置里面查看版本号,下载对应的版本(版本号必须一致否则报错)
该Exception明确指出需要将指定的driver(我这里是edgedriver)放到PATH中。对于driver下载链接如下:

Chrome: http://chromedriver.storage.googleapis.com/index.html

Edge:https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/

Firefox:https://github.com/mozilla/geckodriver/releases/

在这里插入图片描述
在这里插入图片描述
版本驱动要和python文件在同一目录
在这里插入图片描述

# (1)导入selenium
from selenium import webdriver

# (2) 创建浏览器操作对象
path = 'msedgedriver.exe'

browser = webdriver.Edge(path)

# (3)访问网站
# url = 'https://www.baidu.com'
#
# browser.get(url)

url = 'https://www.jd.com/'

browser.get(url)

# page_source获取网页源码
content = browser.page_source
print(content)

在这里插入图片描述

元素定位

from selenium import webdriver

path = 'msedgedriver.exe'
# todo 调用浏览器引擎,对应的浏览器使用对应的方法调用
browser = webdriver.Edge(path)

url = 'https://www.baidu.com'
browser.get(url)

# 元素定位

# 根据id来找到对象
button = browser.find_element_by_id('su')
print(button.tag_name)

# 根据标签属性的属性值来获取对象的
button = browser.find_element_by_name('wd')
print(button.tag_name)

# 根据xpath语句来获取对象
button = browser.find_elements_by_xpath('//input[@id="su"]')
print(button)

# 根据标签的名字来获取对象
button = browser.find_elements_by_tag_name('input')
print(button)

# 使用的bs4的语法来获取对象
button = browser.find_elements_by_css_selector('#su')
print(button)

button = browser.find_element_by_id(‘su’)
在这里插入图片描述
button = browser.find_element_by_name(‘wd’)
在这里插入图片描述
button = browser.find_elements_by_xpath(‘//input[@id=“su”]’)
在这里插入图片描述

元素信息

from selenium import webdriver

path = 'msedgedriver.exe'
# todo 调用浏览器引擎,对应的浏览器使用对应的方法调用
browser = webdriver.Edge(path)


url = 'http://www.baidu.com'
browser.get(url)
input = browser.find_element_by_id('su')

# 获取标签的属性
print(input.get_attribute('class'))
# 获取标签的名字
print(input.tag_name)
# value标签的内容
print(input.get_attribute("value"))

在这里插入图片描述

在这里插入图片描述

# 获取元素文本
a = browser.find_element_by_link_text('新闻')
print(a.text)

在这里插入图片描述

交互

交互就是模拟人去点击网页进行请求

from selenium import webdriver

path = 'msedgedriver.exe'
# todo 调用浏览器引擎,对应的浏览器使用对应的方法调用
browser = webdriver.Edge(path)

# url
url = 'https://www.baidu.com'
browser.get(url)

import time
time.sleep(2)

# 获取文本框的对象
input = browser.find_element_by_id('kw')

# 在文本框中输入周杰伦
input.send_keys('周杰伦')

time.sleep(2)

# 获取百度一下的按钮
button = browser.find_element_by_id('su')

# 点击按钮
button.click()

time.sleep(2)

# 滑到底部
js_bottom = 'document.documentElement.scrollTop=100000'
browser.execute_script(js_bottom)

time.sleep(2)

# 获取下一页的按钮
next = browser.find_element_by_xpath('//a[@class="n"]')

# 点击下一页
next.click()

time.sleep(2)

# 回到上一页
browser.back()

time.sleep(2)

# 回去
browser.forward()

time.sleep(3)

# 退出
browser.quit()

在这里插入图片描述

在这里插入图片描述

案例(登录百度页面搜索昆凌并且保存页面图片)

from selenium import webdriver
import time


path = 'msedgedriver.exe'
# todo 调用浏览器引擎,对应的浏览器使用对应的方法调用
browser = webdriver.Edge(path)

url = 'https://www.baidu.com'
browser.get(url)

browser.save_screenshot('baidu.png')

time.sleep(2)

input = browser.find_element_by_id('kw')
input.send_keys('昆凌')

time.sleep(3)

browser.save_screenshot('kunling.png')

在这里插入图片描述

案例(查询歌曲)

from selenium import webdriver

path = 'msedgedriver.exe'
# todo 调用浏览器引擎,对应的浏览器使用对应的方法调用
browser = webdriver.Edge(path)
# todo 对网站发起请求
url = 'https://www.1nzb.com/'
browser.get(url)
# todo 定位到歌曲输入框
input = browser.find_element_by_id('ac')
# todo 输入歌名若是月亮还没来
input.send_keys('若是月亮还没来')
# todo 提交输入框内容
input.submit()

原文地址:https://blog.csdn.net/m0_52606060/article/details/140447374

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!