【Python】selenium爬虫常见用法和配置，以及常见错误和解决方法
欢迎来到《小5讲堂》
这是《Python》系列文章，每篇文章将以博主理解的角度展开讲解。
温馨提示：博主能力有限，理解水平有限，若有不对之处望指正！
前言
有时候我们需要爬取一些数据进行分析和测试，
对于Python而言，selenium插件是爬虫最佳选择，
本篇文章将简单列一些常见错误和解决方法。
温馨提示，合理使用爬虫，任何技术都有利有弊，适当就好。
无执行文件
代码
import time
from selenium import webdriver
url = 'https://blog.csdn.net/gg_61024956/article/details/138566685?spm=1001.2014.3001.5501'
driver = webdriver.Edge()
driver.get(url)
time.sleep(2)
comment_button = driver.find_element(by=By.ID,value='comment_content')
print(comment_button.text)
报错信息
Message: ‘chromedriver’ executable needs to be in PATH. Pleasesee https://chromedriver.chromium.org/home
消息：“chromedriver”可执行文件需要在PATH中。Pleasesehttps://chromedriver.chromium.org/home
错误路径
很多小伙伴会以为是这个路径，发现是可以运行的，可以自动打开浏览器，但并不能控制浏览器
手动下载
手动下载ChromeDriver（建议使用自动下载模式，简单方便省事）
可以手动下载ChromeDriver并将其放置在一个你容易访问的地方，比如你的项目文件夹中。
ChromeDriver官方地址：https://chromedriver.chromium.org/downloads
自动下载
自动下载ChromeDriver，自动下载并安装与当前系统中已安装的 Chrome 浏览器版本相匹配的 ChromeDriver。这样做的好处是，你无需手动去下载和管理 ChromeDriver 的版本，而是让
webdriver_manager 库来处理这个任务，确保你使用的 ChromeDriver 版本与 Chrome 浏览器版本兼容。
先安装，pip install webdriver_manager
from webdriver_manager.chrome import ChromeDriverManager
driver = webdriver.Chrome(ChromeDriverManager().install())
选项配置
webdriver.chrome.options() 是用于配置 Chrome 浏览器的选项的类。
它允许在启动 Chrome 浏览器时配置各种选项，比如设置浏览器窗口大小、启用或禁用 JavaScript、设置代理等等。
在 Python 中，可以使用 webdriver.Chrome() 类来创建一个 Chrome 浏览器的实例，并通过 options 参数传递 webdriver.chrome.options() 的实例来配置 Chrome 浏览器的选项。
以下是一个示例代码：
from selenium import webdriver
# 创建 ChromeOptions 实例
chrome_options = webdriver.ChromeOptions()
# 设置选项
chrome_options.add_argument('--headless') # 无头模式，不打开浏览器界面
chrome_options.add_argument('--disable-gpu') # 禁用 GPU 加速，防止出现一些问题
chrome_options.add_argument('--window-size=1920,1080') # 设置浏览器窗口大小
# 创建 Chrome 浏览器实例，并传入选项
driver = webdriver.Chrome(options=chrome_options)
# 使用浏览器实例进行后续操作
driver.get('https://www.example.com')
- 报错一
module ‘selenium.webdriver’ has no attribute ‘chromeOptions’
很显然这个是小写的问题chromeOptions这个应该是大写ChromeOptions。
并且由于复制代码原因，0ption，细心的会发现，第一个是数字0而不是字母O
- 报错二
expected str, bytes or os.PathLike object, not Options
driver = webdriver.Chrome(executable_path=ChromeDriverManager().install(),options=options)
Chrome入参
executable_path=默认的ChromeDriver驱动路径
ChromeDriverManager().install()，安装路径
C:\Users\自己电脑名.wdm\drivers\chromedriver\win64\124.0.6367.155\chromedriver-win32/chromedriver.exe
Selenium介绍
Selenium 是一个用于自动化网页浏览器操作的工具，它提供了一组工具和库，可以用多种编程语言（如Python、Java、JavaScript等）来控制浏览器进行自动化测试、网页截图、网页数据抓取等任务。
在 Python 中，你可以使用 Selenium WebDriver 来控制浏览器。WebDriver 是一个用于自动化 web 浏览器的工具，它提供了一系列的 API，允许你通过编程来模拟用户在浏览器中的各种操作，比如点击链接、填写表单、提交数据等。
下面是一个简单的示例，演示了如何使用 Selenium WebDriver 在 Python 中打开一个网页：
from selenium import webdriver
# 创建一个 WebDriver 对象，这里使用 Chrome 浏览器
driver = webdriver.Chrome()
# 打开网页
driver.get("https://www.example.com")
# 获取页面标题
print("Page title is:", driver.title)
# 关闭浏览器
driver.quit()
文章推荐
【Python】selenium爬虫常见用法和配置，以及常见错误和解决方法
【Python】尝试使用一个不可哈希的数据类型作为哈希表的键，错误提示builtins.TypeError,unhashable type
【Python】AES加解密代码，文章还有加密串等你来解密，等你来挑战
【Python】简单使用C/C++和Python嵌套for循环生成一个小爱心
【Python】Python3 使用selenium模块实现简单爬虫系列一
【Python】Python基础学习之python版本对应MySQL-python版本查看
【Python】Python基础学习之python版本对应pip版本查看
总结：温故而知新，不同阶段重温知识点，会有不一样的认识和理解，博主将巩固一遍知识点，并以实践方式和大家分享，若能有所帮助和收获，这将是博主最大的创作动力和荣幸。也期待认识更多优秀新老博主。
原文地址：https://blog.csdn.net/lmy_520/article/details/138617529
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！