深入理解Python中的Pandas库

🕗 发布于 2024-07-25 14:51 python pandas 开发语言

Pandas简介

Pandas是基于NumPy构建的，主要用于数据处理和分析的开源库。它提供了高效、便捷的数据结构和分析工具，尤其适用于处理结构化数据。Pandas的名字来源于“Panel Data”和“Python Data Analysis Library”。

安装Pandas

在开始使用Pandas之前，需要先安装它。可以使用pip或conda进行安装：

pip install pandas

或者使用conda：

conda install pandas

Pandas的核心数据结构

Pandas有两个核心数据结构：Series和DataFrame。

Series

Series是一种类似于一维数组的对象，由一组数据（各种NumPy数据类型）和与之相关的数据标签（即索引）组成。以下是创建Series的例子：

import pandas as pd

# 创建一个简单的Series
s = pd.Series([1, 2, 3, 4, 5])
print(s)

# 指定索引的Series
s = pd.Series([1, 2, 3, 4, 5], index=['a', 'b', 'c', 'd', 'e'])
print(s)

DataFrame

DataFrame是一个二维的、带有标签的数据结构，可以看作是Series的容器。它可以存储不同数据类型的列，是Pandas中最常用的数据结构。以下是创建DataFrame的例子：

import pandas as pd

# 创建一个简单的DataFrame
data = {
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)
print(df)

# 从CSV文件读取DataFrame
df = pd.read_csv('data.csv')
print(df)

数据加载与存储

Pandas支持从多种数据源加载数据，如CSV文件、Excel文件、SQL数据库等，同时也支持将数据存储到这些格式中。

从CSV文件读取数据

import pandas as pd

# 从CSV文件读取数据
df = pd.read_csv('data.csv')
print(df)

从Excel文件读取数据

import pandas as pd

# 从Excel文件读取数据
df = pd.read_excel('data.xlsx', sheet_name='Sheet1')
print(df)

从SQL数据库读取数据

import pandas as pd
import sqlite3

# 创建数据库连接
conn = sqlite3.connect('database.db')

# 从SQL查询结果读取数据
df = pd.read_sql_query('SELECT * FROM table_name', conn)
print(df)

数据存储

将DataFrame存储到不同格式的文件中：

import pandas as pd

# 存储到CSV文件
df.to_csv('output.csv', index=False)

# 存储到Excel文件
df.to_excel('output.xlsx', index=False)

# 存储到SQL数据库
import sqlite3
conn = sqlite3.connect('database.db')
df.to_sql('table_name', conn, if_exists='replace', index=False)

数据操作

Pandas提供了丰富的数据操作功能，包括数据选择、过滤、排序、分组和聚合等。

数据选择

可以通过标签或位置选择数据：

import pandas as pd

data = {
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)

# 选择单列数据
print(df['name'])

# 选择多列数据
print(df[['name', 'age']])

# 选择单行数据
print(df.iloc[0])

# 选择多行数据
print(df.iloc[1:3])

数据过滤

可以根据条件过滤数据：

import pandas as pd

data = {
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)

# 筛选年龄大于30的数据
filtered_df = df[df['age'] > 30]
print(filtered_df)

数据排序

可以对数据进行排序：

import pandas as pd

data = {
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)

# 按年龄排序
sorted_df = df.sort_values(by='age')
print(sorted_df)

数据分组与聚合

Pandas提供了强大的分组与聚合功能：

import pandas as pd

data = {
    'name': ['Alice', 'Bob', 'Charlie', 'David'],
    'age': [25, 30, 35, 40],
    'city': ['New York', 'Los Angeles', 'Chicago', 'New York']
}
df = pd.DataFrame(data)

# 按城市分组并计算平均年龄
grouped_df = df.groupby('city').mean()
print(grouped_df)

数据透视表

透视表是数据聚合的一种强大工具：

import pandas as pd

data = {
    'name': ['Alice', 'Bob', 'Charlie', 'David'],
    'age': [25, 30, 35, 40],
    'city': ['New York', 'Los Angeles', 'Chicago', 'New York'],
    'sales': [200, 300, 400, 500]
}
df = pd.DataFrame(data)

# 创建透视表
pivot_table = df.pivot_table(values='sales', index='city', aggfunc='sum')
print(pivot_table)

数据清洗与处理

在实际应用中，数据往往是杂乱和不完整的，需要进行清洗和处理。

处理缺失值

Pandas提供了多种处理缺失值的方法：

import pandas as pd

data = {
    'name': ['Alice', 'Bob', None, 'David'],
    'age': [25, None, 35, 40],
    'city': ['New York', 'Los Angeles', 'Chicago', None]
}
df = pd.DataFrame(data)

# 检查缺失值
print(df.isnull())

# 删除缺失值
cleaned_df = df.dropna()
print(cleaned_df)

# 填充缺失值
filled_df = df.fillna({'name': 'Unknown', 'age': 0, 'city': 'Unknown'})
print(filled_df)

数据转换

可以对数据进行转换和处理：

import pandas as pd

data = {
    'name': ['Alice', 'Bob', 'Charlie', 'David'],
    'age': [25, 30, 35, 40],
    'city': ['New York', 'Los Angeles', 'Chicago', 'New York']
}
df = pd.DataFrame(data)

# 添加新列
df['age_group'] = df['age'].apply(lambda x: 'Young' if x < 30 else 'Old')
print(df)

# 替换值
df['city'] = df['city'].replace('New York', 'NY')
print(df)

数据合并

可以将多个数据集合并为一个：

import pandas as pd

data1 = {
    'name': ['Alice', 'Bob'],
    'age': [25, 30]
}
data2 = {
    'name': ['Charlie',

 'David'],
    'age': [35, 40]
}
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)

# 合并数据
merged_df = pd.concat([df1, df2])
print(merged_df)

# 基于列合并
data3 = {
    'name': ['Alice', 'Bob'],
    'city': ['New York', 'Los Angeles']
}
df3 = pd.DataFrame(data3)
merged_df = pd.merge(df1, df3, on='name')
print(merged_df)

数据可视化

Pandas与Matplotlib和Seaborn等可视化库集成良好，可以方便地进行数据可视化：

import pandas as pd
import matplotlib.pyplot as plt

data = {
    'name': ['Alice', 'Bob', 'Charlie', 'David'],
    'age': [25, 30, 35, 40],
    'sales': [200, 300, 400, 500]
}
df = pd.DataFrame(data)

# 绘制柱状图
df.plot(kind='bar', x='name', y='sales')
plt.show()

# 绘制折线图
df.plot(kind='line', x='name', y='age')
plt.show()

实战案例

为了更好地理解Pandas的强大功能，我们通过一个实际案例来展示如何使用Pandas进行数据分析。假设我们有一个包含销售数据的CSV文件，文件内容如下：

date,product,quantity,price
2023-01-01,apple,10,0.5
2023-01-01,banana,5,0.3
2023-01-02,apple,8,0.5
2023-01-02,banana,7,0.3

我们将使用Pandas对这些数据进行分析。

加载数据

import pandas as pd

# 从CSV文件读取数据
df = pd.read_csv('sales.csv')
print(df)

数据预处理

# 转换日期列为日期类型
df['date'] = pd.to_datetime(df['date'])

# 计算总销售额
df['total_sales'] = df['quantity'] * df['price']
print(df)

数据分析

# 按日期聚合销售数据
daily_sales = df.groupby('date').sum()
print(daily_sales)

# 按产品聚合销售数据
product_sales = df.groupby('product').sum()
print(product_sales)

数据可视化

import matplotlib.pyplot as plt

# 绘制每日销售额
daily_sales['total_sales'].plot(kind='line')
plt.title('Daily Sales')
plt.xlabel('Date')
plt.ylabel('Total Sales')
plt.show()

# 绘制产品销售额
product_sales['total_sales'].plot(kind='bar')
plt.title('Product Sales')
plt.xlabel('Product')
plt.ylabel('Total Sales')
plt.show()

总结

Pandas是一个强大且灵活的数据分析库，适用于处理和分析各种结构化数据。通过本篇博客，我们介绍了Pandas的核心数据结构和功能，并通过实际案例展示了如何使用Pandas进行数据分析。希望这篇文章能够帮助你更好地理解和掌握Pandas，提高数据处理和分析的效率。如果你有任何疑问或需要进一步的帮助，欢迎随时联系我。

原文地址：https://blog.csdn.net/fudaihb/article/details/140654517

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：神经网络的基本骨架 nn.module 与卷积操作
下一篇：Linux grep技巧提取log中的json数据

【电脑】解决DiskGenius调整分区大小时报错“文件使用的簇被标记为空闲或与其它文件有交叉”
本文介绍如何解决DiskGenius调整分区大小时报错“文件使用的簇被标记为空闲或与其它文件有交叉”的错误。
阅读更多2024-11-16
UNI-APP小程序答题功能开发(左右滑动,判断,填空,问答,答题卡,纠错,做题倒计时等)
这里没啥好说的,就是根据不同的状态显示不同的内容。
阅读更多2024-11-16
ES6更新的内容中什么是proxy
Proxy 是 ES6（ECMAScript 2015）中引入的一个新的内置对象，用于定义某些操作的自定义行为（如属性查找、赋值、枚举、函数调用等）。通过创建一个对象的 Proxy，你可以控制对这个对
阅读更多2024-11-16
OTX 架构开发
（一）开发环境搭建编程环境配置根据选定的编程语言，安装相应的开发工具和编译器。如果选择 Java，安装 JDK（Java Development Kit），并配置环境变量。选择合适的集成开发环境（I
阅读更多2024-11-16
领夹麦克风哪个品牌好，手机领夹麦克风哪个牌子好，选购推荐
它最大的优势就是具有高度的灵活性，而且不受距离的过多限制，能够保证声音清晰、传输稳定，让交流沟通毫无阻碍。在此，我根据自己的选购经验以及周围朋友使用后的反馈情况，总结出了无线麦克风中那些销量靠前、口碑
阅读更多2024-11-16
SQL，力扣题目1126，查询活跃业务
(business_id, event_type) 是这个表的主键（具有唯一值的列的组合）。表中的每一行记录了某种类型的事件在某些业务中多次发生的信息。1、CTE表达式 + 窗口函数 + group
阅读更多2024-11-16
客运购票售票小程序校园巴士预约售票小程序开发方案php+uniapp
客运购票小程序开发，开发语言后端php，前端uniapp。
阅读更多2024-11-16
电子电气架构 --- 车载48V系统
电子电气架构 --- 车载48V系统
阅读更多2024-11-16
每日OJ题_牛客_DP36 abb_C++_Java
每日OJ题_牛客_DP36 abb_C++_Java（用abb中第一个出现的b来考虑，一个字符作为第一b能产生的abb字符，等于它后面相同的字符数量（意味着还能凑成多少个bb）乘以它前面与它不相同的字
阅读更多2024-11-16
51单片机基础03 矩阵按键读取与外部中断读取
介绍了独立按键读取、51单片机外部中断、矩阵按键读取等
阅读更多2024-11-16

深入理解Python中的Pandas库

目录

Pandas简介

安装Pandas

Pandas的核心数据结构

Series

DataFrame

数据加载与存储

从CSV文件读取数据

从Excel文件读取数据

从SQL数据库读取数据

数据存储

数据操作

数据选择

数据过滤

数据排序

数据分组与聚合

数据透视表

数据清洗与处理

处理缺失值

数据转换

数据合并

数据可视化

实战案例

加载数据

数据预处理

数据分析

数据可视化

总结

相关文章