2024.4.17 Python爬虫复习day05 可视化

🕗 发布于 2024-04-19 14:32 python 爬虫信息可视化

day05_数据可视化和程序日志

准备web服务器

注意: 记得把source资源到项目中

# 1.导包
from fastapi import FastAPI
from fastapi import Response
import uvicorn

# 2.创建对象
app = FastAPI()


# 3.使用对象接收浏览器请求,并且使用对象给浏览器响应资源
# 注意: get中传入请求的资源路径
@app.get('/')
def func():
    # 自动跳转首页
    with open('source/html/index.html', 'rb') as f:
        data = f.read()
    res = Response(data)
    return res


@app.get('/{html_name}')
def func(html_name: str):
    # 自动跳转页面
    with open(f'source/html/{html_name}', 'rb') as f:
        data = f.read()
    res = Response(data)
    return res


@app.get('/images/{img_name}')
def func(img_name: str):
    with open(f'source/images/{img_name}', 'rb') as f:
        data = f.read()
    res = Response(data)
    return res


@app.get('/video/{vi_name}')
def func(vi_name: str):
    with open(f'source/video/{vi_name}', 'rb') as f:
        data = f.read()
    res = Response(data)
    return res


# 4.启动服务器(指定fastapi对象,主机地址,端口号)
uvicorn.run(app,host='127.0.0.1',port=9091)

数据可视化

1.爬取数据

# 1.导包
import requests
import re

# 2.准备有效的url
url = 'http://127.0.0.1:9091/gdp.html'
# 3.发送url请求,获取web服务器返回的响应对象
response = requests.get(url)
# 4.从响应对象中提取页面数据,并转为字符串类型
html_str = response.content.decode()
# print(html_str)
# 5.使用正则表达式匹配自己想要的资源
gdp_data = re.findall('<a href=""><font>(.+?)</font>.*?￥(.+?)亿元', html_str, re.S)
print(gdp_data)
# 6.数据保存(目的:为了下一次直接使用)
with open('gdp.txt', 'w', encoding='utf8') as f:
    f.write(str(gdp_data))

2.读取数据

# 需求: 根据之前爬取的数据进行数据可视化
# 从之前爬取数据存储文件中读出数据
with open('gdp.txt', 'r', encoding='utf8') as f:
    # 注意: 数据是字符串类型的
    data = f.read()

# 把data转为列表数据也就是'[(...),(...)]' 转变为 [(...),(...)]
# 注意: eval不能随便使用,只是去除两端的引号,让里面的数据变成本身所属类型
gdp_list = eval(data)
print(gdp_list)
print(type(gdp_list))

3.pyecharts制作饼图

echarts: 百度开源的一个数据可视化工具

pyecharts: python版本的echarts工具

使用pyecharts步骤
1.安装: pip install pyecharts
2.导包: import pyecharts
3.使用: 可以制作饼图,折线图,地图等可视化页面

# 0.定义函数获取要展示的数据
def get_gdp_list():
    # 从之前爬取数据存储文件中读出数据
    with open('gdp.txt', 'r', encoding='utf8') as f:
        # 注意: 数据是字符串类型的
        data = f.read()

    # 把data转为列表数据也就是'[(...),(...)]' 转变为 [(...),(...)]
    # 注意: eval不能随便使用,只是去除两端的引号,让里面的数据变成本身所属类型
    gdp_list = eval(data)
    return gdp_list


# 1.导包
from pyecharts.charts import Pie
import pyecharts.options as opts

# 2.创建饼图对象
pie = Pie(init_opts=opts.InitOpts(width='1500px', height='800px'))

# 3.给饼图对象添加数据
# 先获取数据
gdp_list = get_gdp_list()
# 添加数据
pie.add('gdp数据',
        gdp_list[:10],
        label_opts=opts.LabelOpts(formatter='{b}:{d}%')
)
# 4.给饼图设置标题
pie.set_global_opts(title_opts=opts.TitleOpts(title='2023_GDP数据',subtitle='斌子制作'))

# 5.渲染成页面
# 注意: 默认路径是当前路径下生成render.html页面
# 也可以像下面那样指定页面路径和文件名
pie.render('source/html/my_render.html')

程序日志

知识点:

python中日志模块: logging

日志作用:
1.查看程序的运行情况
2.方便开发人员查看bug
3.方便分析用户的行为和喜好

日志等级: 
DEBUG :(数字10代表)调试信息
INFO: (数字20代表)正常运行信息
WARNING: (数字30代表)警告信息(默认)
ERROR: (数字40代表)错误信息
CRITICAL: (数字50代表)危险信息

日志优先级:  DEBUG < INFO  < WARNING  < ERROR < CRITICAL

入门

# 1.导包
import logging

# 2.使用
# 直接运行如下代码,观察结果: 只打印了从warning开始的三行日志信息
# 注意: 默认等级是WARNING: WARNING以及WARNING以上的信息会被打印
logging.debug('这是一个调试信息...')
logging.info('这是一个正常运行信息...')
logging.warning('这是一个警告信息...')
logging.error('这是一个错误信息...')
logging.critical('这是一个危险信息...')

格式化输出到控制台

# 1.导包
import logging

# 2.使用
# 注意: 如果要修改配置,需要先修改再打印信息才会生效
# 修改日志等级
logging.basicConfig(
    level=logging.DEBUG,
    format='时间:%(asctime)s,程序名:%(filename)s,行号:%(lineno)d,%(levelname)s信息:%(message)s'
)
# 直接运行如下代码,观察结果: 只打印了从warning开始的三行日志信息
# 注意: 默认等级是WARNING: WARNING以及WARNING以上的信息会被打印
logging.debug('这是一个调试信息...')
logging.info('这是一个正常运行信息...')
logging.warning('这是一个警告信息...')
logging.error('这是一个错误信息...')
logging.critical('这是一个危险信息...')

格式化输出到文件

# 1.导包
import logging

# 2.使用
# 注意: 如果要修改配置,需要先修改再打印信息才会生效
logging.basicConfig(
    level=logging.DEBUG,  # 修改日志等级
    format='时间:%(asctime)s,程序名:%(filename)s,行号:%(lineno)d,%(levelname)s信息:%(message)s',  # 格式化
    filename='my_log.txt',  # 指定要保存的文件名
    filemode='w'  # 默认模式是追加a
)
# 日志信息
logging.debug('这是一个调试信息...')
logging.info('这是一个正常运行信息...')
logging.warning('这是一个警告信息...')
logging.error('这是一个错误信息...')
logging.critical('这是一个危险信息...')

日志版本web服务器

# 1.导包
from fastapi import FastAPI
from fastapi import Response
import uvicorn
import logging

# 2.创建对象
app = FastAPI()

# 5.修改日志等级和输出日志到文件
# 注意: 如果要修改配置,需要先修改再打印信息才会生效
logging.basicConfig(
    level=logging.DEBUG,  # 修改日志等级
    format='时间:%(asctime)s,程序名:%(filename)s,行号:%(lineno)d,%(levelname)s信息:%(message)s',  # 格式化
    filename='web_log.txt',  # 指定要保存的文件名
    filemode='w'  # 默认模式是追加a
)


# 3.使用对象接收浏览器请求,并且使用对象给浏览器响应资源
# 注意: get中传入请求的资源路径
@app.get('/')
def func():
    # 记录日志信息
    logging.info('用户访问了首页')
    # 自动跳转首页
    with open('source/html/index.html', 'rb') as f:
        data = f.read()
    res = Response(data)
    return res


@app.get('/{html_name}')
def func(html_name: str):
    # 记录日志信息
    logging.info(f'用户访问了{html_name}资源')
    # 自动跳转页面
    with open(f'source/html/{html_name}', 'rb') as f:
        data = f.read()
    res = Response(data)
    return res


@app.get('/images/{img_name}')
def func(img_name: str):
    # 记录日志信息
    logging.info(f'用户访问了{img_name}图片文件')
    # 自动跳转图片
    with open(f'source/images/{img_name}', 'rb') as f:
        data = f.read()
    res = Response(data)
    return res


@app.get('/video/{vi_name}')
def func(vi_name: str):
    # 记录日志信息
    logging.info(f'用户访问了{vi_name}视频文件')
    # 自动返回视频资源
    with open(f'source/video/{vi_name}', 'rb') as f:
        data = f.read()
    res = Response(data)
    return res


# 4.启动服务器(指定fastapi对象,主机地址,端口号)
uvicorn.run(app, host='127.0.0.1', port=9099)

# 客户端通过: http://127.0.0.1:9099/ 访问

原文地址：https://blog.csdn.net/m0_49956154/article/details/137756095

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：面试经典150题——从中序与后序遍历序列构造二叉树
下一篇：Unity实现关闭应用程序和关闭应用窗口

【学习日记】notebook添加JAVA支持
作者是个大学生这个专栏主要收集课时常用的软件以及女朋友上课用的软件的教程。需提前配置好java环境本篇仅对添加支持进行说明。新开了gitcode 用于上传安装包。解压进入解压后目录复制文件地
阅读更多2024-11-15
Docker与Podman全面比较
Docker和Podman作为两大容器引擎，各自拥有独特的特点和优势。本文将从溯源、特点、技术优势、应用实例和技术前景等方面对Docker和Podman进行全面比较。
阅读更多2024-11-15
算法学习blog：day2 继续记日记
4. 明日计划：至少五道题，并且要学会并实现今天的三道题，看这五道题的思路解法，下一天进行实现优化。除此之外pdf粗略看到了20页，明天继续看，后面才是重点。1.做了三道PAT 76，77，78，差一
阅读更多2024-11-15
基于Python的网上银行综合管理系统
【2025最新】基于python+django+vue+MySQL的网上银行综合管理系统，前后端分离。
阅读更多2024-11-15
自定义注解+拦截器+jwtFilter实现权限控制
GetterSUPER_ADMIN(1, "超级管理员"),SYSTEM_ADMIN(2, "系统管理员"),DOMESTIC_CONSUMER(3, &quo
阅读更多2024-11-15
前端面试题整理-vue指令开发
在 bind 钩子中，我为绑定的元素添加了一个点击事件监听器，当元素被点击时，执行复制操作。我当时在开发点击复制文本的功能，我有很多个元素都想有这个功能，但是我又不想每个元素都绑定一个 onClick
阅读更多2024-11-15
在使用ipc通信时，在渲染进程的Vue + TypeScript 开发过程，给window对象添加属性并赋值时，发生报错解决方法
在使用ipc通信时，在渲染进程的Vue + TypeScript 开发过程，给window对象添加属性并赋值时，发生报错解决方法
阅读更多2024-11-15
GESP4级考试语法知识（贪心算法（四））
GESP4级考试语法知识（贪心算法（四））
阅读更多2024-11-15
20241114在飞凌的OK3588-C的核心板上跑Linux R4时通过iperf3测试以太网卡的实际网速
创建一个eth0配置文件，配置文件的路径为：/etc/network/interfaces.d/eth0,设置动态ip的配置文件。虽然飞凌的OK3588-C的核心板使用的是千兆网卡RTL8211
阅读更多2024-11-15
【EmbeddedGUI】脏矩阵设计说明
脏矩阵设计说明
阅读更多2024-11-15

2024.4.17 Python爬虫复习day05 可视化

day05_数据可视化和程序日志

准备web服务器

数据可视化

1.爬取数据

2.读取数据

3.pyecharts制作饼图

程序日志

知识点:

入门

格式化输出到控制台

格式化输出到文件

日志版本web服务器

相关文章