1.简单的爬虫

🕗 发布于 2025-01-22 11:07 爬虫

1.数据在哪里？

在页面源码里
1. 直接获取数据
不在页面源码里
1. 找到真正获取数据的URL，再获取数据

2.requests模块

安装

pip install requests
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

抓网站文字数据

import requests

url = "https://gaze.run/"
header = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
}

resp = requests.get(url)

# 检查响应状态码
if resp.status_code == 200:
    # 检查响应内容是否包含特定字符串
    if "斗破苍穹" in resp.text:
        print("Website is up!")
else:
    print("Website is down!")

抓网站图片、视频、音频

import requests

url = "https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2578474613.jpg"
resp = requests.get(url)
file_name = url.split("/")[-1]
with open(file_name, mode="wb") as f:
    f.write(resp.content)  # resp.content得到的是bytes(字节)

知识点汇总
1. 请求
  1. requests.get(),发送get请求，请求的参数可以放在url里面，也可以传递给params
  2. requestes.post(),发送post请求，请求参数放在字典里，再传递给data
2. 响应
  1. resp.text接收文本
  2. resp.json()接收json字符串
  3. resp.content接收字节

原文地址：https://blog.csdn.net/apple_56973763/article/details/145258680

免责声明：本站文章内容转载自网络资源，如侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：【服务器报错】libGL.so.1: cannot open shared object file:
下一篇：E-Prime2实现List嵌套

ubuntu24.04安装mysql 5.7.44版本
使用下面命令，查看配置信息是否，这一步非常重要，配置文件不生效，会导致系统区分大小写表。创建该文件，退出的时候，就算不输入内容，也要强制保存一下 :wq!命令来更新init系统，以便在系统启动时自动启
阅读更多2025-01-22
SQLmap 自动注入 -02
SQLmap 是SQL注入的超级工具，这次参数是 -dbs, 还要-users, --current-user
阅读更多2025-01-22
AI大模型-提示工程学习笔记12-检索增强生成(RAG)
是一种结合检索（Retrieval）和生成（Generation）的技术，旨在通过从外部知识库中检索相关信息，增强大语言模型（LLM）的生成能力。尽管 RAG 面临一些挑战（如检索质量、知识库维护成本
阅读更多2025-01-22
在亚马逊云科技上用AI提示词优化功能写出漂亮提示词（下）
提示工程（Prompt Engineering）对各位小伙伴们来说是再熟悉不过了，提示词工程技术是通过编写指令词，指导开发者们调用AI基础模型（FMs）获得期望的响应。但是经常写提示词的朋友们会知道，
阅读更多2025-01-22
他把智能科技引入现代农业领域
江苏田倍丰农业科技有限公司（以下简称“田倍丰”）是一家专注于粮油种植的农业科技公司，为拥有300亩以上田地的大户提供全面的解决方案。田倍丰通过与当地政府合作，将土地承包给大户，并提供农资和技术，实现利
阅读更多2025-01-22
深圳市云盟智慧科技有限公司智慧停车管理系统 SQL注入漏洞复现（附脚本）
深圳市云盟智慧科技有限公司智慧停车管理系统 /GetVideo 接口存在SQL注入漏洞，未经身份验证的恶意攻击者利用 SQL 注入漏洞获取数据库中的信息（例如管理员后台密码、站点用户个人信息）之外，攻
阅读更多2025-01-22
江天科技主要产品销售单价下滑，应收账款、存货周转率大幅下降
报告期各期，公司薄膜类不干胶标签实现营收分别为2.37亿、2.75亿、3.90亿、2.21亿，营收占比分别为68.20%、71.69%、76.77%、79.23%；此外，报告期各期，江天科技毛利率分别
阅读更多2025-01-22
PAT乙级真题 — 1060 爱丁顿数（java）
英国天文学家爱丁顿很喜欢骑车。据说他为了炫耀自己的骑车功力，还定义了一个“爱丁顿数” E ，即满足有 E 天骑车超过 E 英里的最大整数 E。据说爱丁顿自己的 E 等于87。现给定某人 N 天的骑车距
阅读更多2025-01-22
AutoSAR CP RTE 规范核心内容简介以及BswScheduler工作原理解析
本规范详细介绍了AUTOSAR运行时环境（RTE）和基本软件调度器（BswScheduler）的软件规范。RTE概述：AUTOSAR概念：RTE生成过程：RTE功能规范：RTE与基本软件调度器的交互：
阅读更多2025-01-22
UE5 开启“Python Remote Execution“
在启用 Unreal Engine 5（UE5）的“Python 远程执行”功能后，UE5 会启动一个 UDP 组播套接字服务，以监听来自外部应用程序的 Python 命令。通过这种方式，UE5 实现
阅读更多2025-01-22

1.简单的爬虫

1.数据在哪里？

2.requests模块

相关文章