Python爬虫实战：图片爬取与保存
Python爬虫在数据抓取和图片下载方面非常有用。下面，我将详细讲解如何使用Python的requests库来请求网页内容，并使用BeautifulSoup库来解析HTML页面，最后使用urllib.request或requests库来下载并保存图片。
准备工作
首先，你需要安装requests和beautifulsoup4库（如果你还没有安装的话）。你可以通过pip来安装它们：
示例：从网站爬取图片
假设我们想要从某个网页（比如一个图片分享网站）上爬取所有图片。以下是详细的步骤和代码。
1. 导入必要的库
pip install requests beautifulsoup42. 发送HTTP请求
使用requests库发送GET请求到目标网站。
import requests
from bs4 import BeautifulSoup
import os3. 解析HTML
使用BeautifulSoup解析HTML内容，找到图片链接。
url = 'http://example.com/gallery' # 示例URL，请替换成实际的图片网页URL
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
response.raise_for_status() # 如果响应状态码不是200，则抛出HTTPError异常
4. 下载并保存图片
遍历找到的图片链接，下载图片并保存到本地。
# 创建一个文件夹来保存图片
if not os.path.exists('downloaded_images'):
os.makedirs('downloaded_images')
for img in images:
img_url = img['src']
# 构造完整的图片URL（如果图片URL是相对路径）
if not img_url.startswith('http'):
img_url = urljoin(url, img_url)
# 使用requests下载图片
img_response = requests.get(img_url, stream=True)
img_response.raise_for_status()
# 获取图片文件名（这里简单地使用URL的最后一部分）
file_name = os.path.join('downloaded_images', img_url.split('/')[-1])
# 以二进制写模式打开文件
with open(file_name, 'wb') as file:
for chunk in img_response.iter_content(1024):
file.write(chunk)
print(f'Image saved as {file_name}')
注意点
- User-Agent：有些网站会检查请求的User-Agent头部来判断是否为爬虫，因此设置一个合理的User-Agent可能有助于绕过简单的反爬虫机制。
- 图片URL：确保你获取的URL是完整的（包括协议部分，如
http://或https://）。有些网站的图片链接可能是相对路径，这时你需要通过urljoin函数来构造完整的URL。 - 错误处理：在实际应用中，应该添加适当的错误处理机制，比如捕获网络请求异常、文件写入异常等。
最后小编也给大家分享一份Python学习压缩包，里面的内容都是适合零基础小白的笔记，不懂编程也能听懂、看懂。【如果需要的话戳这里】
全套Python学习资料分享：
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
二、学习软件
工欲善其事必先利其器。学习Python常用的开发软件都在这里了，还有环境配置的教程，给大家节省了很多时间。
三、全套PDF电子书
书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。
四、入门学习视频全套
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。
五、实战案例
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
原文地址：https://blog.csdn.net/2301_78096295/article/details/140614978
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！