人工智能研究生前置知识—扩展程序库Pandas

🕗 发布于 2024-04-15 21:23 人工智能 pandas

人工智能研究生前置知识—扩展程序库Pandas

在这里插入图片描述

pandas简介

Pandas 的主要数据结构是 Series （一维数据）与 DataFrame（二维数据）。Pandas 广泛应用在学术、金融、统计学等各个数据分析领域。

pandas的官网：https://pandas.pydata.org/

Series：类似于一维数组或列表，是由一组数据以及与之相关的数据标签（索引）构成。Series 可以看作是 DataFrame 中的一列，也可以是单独存在的一维数据结构。
DataFrame：类似于一个二维表格，它是 Pandas 中最重要的数据结构。DataFrame 可以看作是由多个 Series 按列排列构成的表格，它既有行索引也有列索引，因此可以方便地进行行列选择、过滤、合并等操作。

在这里插入图片描述
Pandas 提供了丰富的功能，包括：

数据清洗：处理缺失数据、重复数据等。
数据转换：改变数据的形状、结构或格式。
数据分析：进行统计分析、聚合、分组等。
数据可视化：通过整合 Matplotlib 和 Seaborn 等库，可以进行数据可视化。

Pandas常用数据结构

Series

Series 特点：
索引：每个 Series 都有一个索引，它可以是整数、字符串、日期等类型。如果没有显式指定索引，Pandas 会自动创建一个默认的整数索引。

数据类型： Series 可以容纳不同数据类型的元素，包括整数、浮点数、字符串等。

pandas.Series( data, index, dtype, name, copy)

参数说明：

data：一组数据(ndarray 类型)。
index：数据索引标签，如果不指定，默认从 0 开始。
dtype：数据类型，默认会自己判断。
name：设置名称。
copy：拷贝数据，默认为 False。

import numpy as np
import pandas as pd

s = pd.Series([1,2,4,5,7,9])
print(s)

0    1
1    2
2    4
3    5
4    7
5    9
dtype: int64

输出的数据有索引、数值和数据类型组成

DataFrame

DataFrame 是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型值）。DataFrame 既有行索引也有列索引，它可以被看做由 Series 组成的字典（共同用一个索引）。

在这里插入图片描述
DataFrame 构造方法如下：

pandas.DataFrame( data, index, columns, dtype, copy)

参数说明：

data：一组数据(ndarray、series, map, lists, dict 等类型)。
index：索引值，或者可以称为行标签。
columns：列标签，默认为 RangeIndex (0, 1, 2, …, n) 。
dtype：数据类型。
copy：拷贝数据，默认为 False。
Pandas DataFrame 是一个二维的数组结构，类似二维数组。

创建简单的实例操作

dates = pd.date_range('20160101',periods=6)
print(dates)
df = pd.DataFrame
(np.random.randn(6,4),index=dates,columns=['a','b','c','d'])
print(df)

DatetimeIndex(['2016-01-01', '2016-01-02', '2016-01-03', '2016-01-04',
               '2016-01-05', '2016-01-06'],
              dtype='datetime64[ns]', freq='D')
                   a         b         c         d
2016-01-01 -0.580792 -0.054259 -1.328131 -0.031686
2016-01-02 -0.015089 -0.364996  0.682357 -0.145403
2016-01-03  0.343227  1.725339 -1.515164  0.326085
2016-01-04 -0.593643 -0.352377  0.542772 -0.466898
2016-01-05 -2.323654 -0.690758 -0.113209  0.606809
2016-01-06 -1.801662  0.149519 -0.574387 -0.175300

使用ndarray数组进行创建

df1 = pd.DataFrame(np.arange(12).reshape(3,4))
print(df1)

 0  1   2   3
0  0  1   2   3
1  4  5   6   7
2  8  9  10  11

使用字典数据来进行创建

print("------------------")
data = {'Site':['Google', 'Runoob', 'Wiki'], 'Age':[10, 12, 13]}

df3 = pd.DataFrame(data)

print (df3)

------------------
     Site  Age
0  Google   10
1  Runoob   12
2    Wiki   13

示例二

df4 = pd.DataFrame({'A':1,'B':pd.Timestamp('20130102'),'C':pd.Series([1.0,2.0,3.0,4.0])})
print(df4)
# 每一列的数据类型
print(df4.dtypes)
# 打印行和列的索引
print(df4.index,df4.columns)

   A          B    C
0  1 2013-01-02  1.0
1  1 2013-01-02  2.0
2  1 2013-01-02  3.0
3  1 2013-01-02  4.0

A             int64
B    datetime64[ns]
C           float64
dtype: object

RangeIndex(start=0, stop=4, step=1) 
Index(['A', 'B', 'C'], dtype='object')

注意可以使用不同数据类型的元素

获取列名 columns = df.columns
获取形状（行数和列数）shape = df.shape
获取索引 index = df.index
获取描述统计信息 stats = df.describe()

pandas选择数据

案例中使用到的数据结构

import numpy as np
import pandas as pd
dates = pd.date_range('20230101',periods=6)
df = pd.DataFrame(np.arange(24).reshape(6,4),index=dates,columns=['A','B','C','D'])
print(df)

            A   B   C   D
2023-01-01   0   1   2   3
2023-01-02   4   5   6   7
2023-01-03   8   9  10  11
2023-01-04  12  13  14  15
2023-01-05  16  17  18  19
2023-01-06  20  21  22  23

切片选择

对行进行切片选择

#  行切片选择第一行到第三行
print(df[0:3])
# 等价形式
print(df['2023-01-01':'2023-01-03'])

            A  B   C   D
2023-01-01  0  1   2   3
2023-01-02  4  5   6   7
2023-01-03  8  9  10  11
            A  B   C   D
2023-01-01  0  1   2   3
2023-01-02  4  5   6   7
2023-01-03  8  9  10  11

对列进行切片选择

print('===============')
# 对列进行切片选择
print(df['A'],df.A)

2023-01-01     0
2023-01-02     4
2023-01-03     8
2023-01-04    12
2023-01-05    16
2023-01-06    20
Freq: D, Name: A, dtype: int32 2023-01-01     0
2023-01-02     4
2023-01-03     8
2023-01-04    12
2023-01-05    16
2023-01-06    20
Freq: D, Name: A, dtype: int32

标签选择

选择指定的行，指定的列，和行列的交叉项

#横向标签
print(df.loc['2023-01-04'])
#纵向的标签进行选择
print(df.loc[:,['A','B']])
print('##############')
# 综合情况下的选择
print(df.loc[['2023-01-02','2023-01-03'],['A','B']])
A    12
B    13
C    14
D    15
Name: 2023-01-04 00:00:00, dtype: int32

             A   B
2023-01-01   0   1
2023-01-02   4   5
2023-01-03   8   9
2023-01-04  12  13
2023-01-05  16  17
2023-01-06  20  21
##############
            A  B
2023-01-02  4  5
2023-01-03  8  9

位置选择

使用.iloc进行根据位置来选择元素

print('--------------')
# 选择第三行元素
print(df.iloc[2])
#选择第三列元素
print(df.iloc[:,2])
# 选择第三行第三列的元素
print(df.iloc[2,2])
#与切片结合选择
print(df.iloc[1:3,2:3])

--------------
A     8
B     9
C    10
D    11
Name: 2023-01-03 00:00:00, dtype: int32
2023-01-01     2
2023-01-02     6
2023-01-03    10
2023-01-04    14
2023-01-05    18
2023-01-06    22
Freq: D, Name: C, dtype: int32
10
             C
2023-01-02   6
2023-01-03  10

条件选择

print(df[df.A>8])

            A   B   C   D
2023-01-04  12  13  14  15
2023-01-05  16  17  18  19
2023-01-06  20  21  22  23

pandas设置值（修改操作）

案例中使用到的数据结构

import numpy as np
import pandas as pd
dates = pd.date_range('20230101',periods=6)
df = pd.DataFrame(np.arange(24).reshape(6,4),index=dates,columns=['A','B','C','D'])
print(df)

            A   B   C   D
2023-01-01   0   1   2   3
2023-01-02   4   5   6   7
2023-01-03   8   9  10  11
2023-01-04  12  13  14  15
2023-01-05  16  17  18  19
2023-01-06  20  21  22  23

修改操作即选择操作与赋值操作之间相结合

pandas处理丢失数据（简单数据清洗）

含有丢失数据的数据集合

import numpy as np
import pandas as pd
dates = pd.date_range('20230101',periods=6)
df = pd.DataFrame(np.arange(24).reshape(6,4),index=dates,columns=['A','B','C','D'])

df.iloc[0,1] = np.nan
df.iloc[1,2] = np.nan
print(df)

            A     B     C   D
2023-01-01   0   NaN   2.0   3
2023-01-02   4   5.0   NaN   7
2023-01-03   8   9.0  10.0  11
2023-01-04  12  13.0  14.0  15
2023-01-05  16  17.0  18.0  19
2023-01-06  20  21.0  22.0  23

处理一：丢失数据

# 行筛选丢失
print(df.dropna(axis=0,how='any'))  #how={all,any}其中all所有元素都为空，any任何元素为空、
#列筛选丢失
print(df.dropna(axis=1,how='any'))

            A     B     C   D
2023-01-03   8   9.0  10.0  11
2023-01-04  12  13.0  14.0  15
2023-01-05  16  17.0  18.0  19
2023-01-06  20  21.0  22.0  23
             A   D
2023-01-01   0   3
2023-01-02   4   7
2023-01-03   8  11
2023-01-04  12  15
2023-01-05  16  19
2023-01-06  20  23

处理二：默认填充

实例测试默认将空值填充为0，首先要确认判断数据是否会有缺失的情况存在

print(df.isnull())
print('----------------')
# 判断是否存在数据的缺失
print(np.any(df.isnull()))
# 缺失的部分默认填充为0
print(df.fillna(value=0))

              A      B      C      D
2023-01-01  False   True  False  False
2023-01-02  False  False   True  False
2023-01-03  False  False  False  False
2023-01-04  False  False  False  False
2023-01-05  False  False  False  False
2023-01-06  False  False  False  False
----------------
True
             A     B     C   D
2023-01-01   0   0.0   2.0   3
2023-01-02   4   5.0   0.0   7
2023-01-03   8   9.0  10.0  11
2023-01-04  12  13.0  14.0  15
2023-01-05  16  17.0  18.0  19
2023-01-06  20  21.0  22.0  23

pandas导入导出数据

使用到的csv文件如下所示。

Student ID,name ,age,gender
1100,Kelly,22,Female
1101,Clo,21,Female
1102,Tilly,22,Female
1103,Tony,24,Male
1104,David,20,Male
1105,Catty,22,Female
1106,M,3,Female
1107,N,43,Male
1108,A,13,Male
1109,S,12,Male
1110,David,33,Male
1111,Dw,3,Female
1112,Q,23,Male

读取csv文件

import pandas as pd
data = pd.read_csv('student.csv')
print(data)

   Student ID  name   age  gender
0         1100  Kelly   22  Female
1         1101    Clo   21  Female
2         1102  Tilly   22  Female
3         1103   Tony   24    Male
4         1104  David   20    Male
5         1105  Catty   22  Female
6         1106      M    3  Female
7         1107      N   43    Male
8         1108      A   13    Male
9         1109      S   12    Male
10        1110  David   33    Male
11        1111     Dw    3  Female
12        1112      Q   23    Male
13        1113      W   21  Female

导出文件（csv）

将读取后的csv文件导出为excel格式的文件
data.to_excel(‘student.xlsx’,index=False)

# 三个字段 name, site, age
nme = ["Google", "Runoob", "Taobao", "Wiki"]
st = ["www.google.com", "www.runoob.com", "www.taobao.com", "www.wikipedia.org"]
ag = [90, 40, 80, 98]

# 字典
dict = {'name': nme, 'site': st, 'age': ag}

df = pd.DataFrame(dict)

# 保存 dataframe
df.to_csv('site.csv')

在这里插入图片描述

pandas数据合并

按行进行合并操作（axis=0）

使用到的待合并的数据集

import numpy as np
import pandas as pd
df1 = pd.DataFrame(np.ones((3,4))*0,columns=['a','b','c','d'])
df2 = pd.DataFrame(np.ones((3,4))*1,columns=['a','b','c','d'])
df3 = pd.DataFrame(np.ones((3,4))*2,columns=['a','b','c','d'])
print(df1)
print(df2)
print(df3)

    a    b    c    d
0  0.0  0.0  0.0  0.0
1  0.0  0.0  0.0  0.0
2  0.0  0.0  0.0  0.0
     a    b    c    d
0  1.0  1.0  1.0  1.0
1  1.0  1.0  1.0  1.0
2  1.0  1.0  1.0  1.0
     a    b    c    d
0  2.0  2.0  2.0  2.0
1  2.0  2.0  2.0  2.0
2  2.0  2.0  2.0  2.0

# 使用concat按行来进行合并
res = pd.concat([df1,df2,df3],axis=0,ignore_index=False)
print(res)

   a    b    c    d
0  0.0  0.0  0.0  0.0
1  0.0  0.0  0.0  0.0
2  0.0  0.0  0.0  0.0
0  1.0  1.0  1.0  1.0
1  1.0  1.0  1.0  1.0
2  1.0  1.0  1.0  1.0
0  2.0  2.0  2.0  2.0
1  2.0  2.0  2.0  2.0
2  2.0  2.0  2.0  2.0

原文地址：https://blog.csdn.net/weixin_46167190/article/details/137746175

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：英语写作中“大量的”“重大的”“显著的”substantial、considerable、significant的用法
下一篇：黑客（网络安全）技术自学——高效学习

谷歌推出设备内置人工智能，实时向手机用户发出诈骗电话警报
Google 宣布推出适用于 Android 的新安全功能，可实时防御诈骗和有害应用。
阅读更多2024-11-16
动手学深度学习70 BERT微调
13 bert一般可以用工具转成c++ 开销大。考虑怎么提升bert性能。14 设备性能不高，可以用蒸馏bert。模型中有大量冗余的东西。9 10, 一般不固定，固定参数可以使训练速度加快，可以尝试
阅读更多2024-11-16
怎么改变网络IP地址：实用指南与注意事项
在数字化时代，IP地址作为设备连接互联网的“身份证”，扮演着至关重要的角色。无论是出于隐私保护、访问限制绕过，还是网络安全考虑，有时我们需要更改设备的IP地址。然而，对于许多非技术用户而言，这一过程可
阅读更多2024-11-16
huggingface 下载方法测试ok
huggingface 下载方法：
阅读更多2024-11-16
计算机网络（10）网络性能
在计算机网络中，网络性能是指网络传输数据的效率、速度和稳定性。
阅读更多2024-11-16
Springboot校园失物招领平台
Springboot校园失物招领平台
阅读更多2024-11-16
HarmonyOS 如何获取设备信息（系统、版本、网络连接状态）
HarmonyOS 提供了一个强大的 API 集，方便开发者获取设备的硬件和软件信息。通过模块的deviceInfo接口，开发者可以访问设备的型号、品牌、系统版本等详细信息。本文将详细介绍如何使用这些
阅读更多2024-11-16
Vue3集成搜索引擎智能提示API
问题：因为API返回的是JSONP数据，JSONP是跨域访问的一种方式，网上很多都是用的原生的 js 代码去发送请求，嵌入到vue中不太方便，因此我想着vue能不能直接发送jsonp 请求，后面发现v
阅读更多2024-11-16
【Linux】Linux 权限的理解
本文简单介绍了Linux的基础知识--权限。
阅读更多2024-11-16
Python 中.title()函数和.lower()函数
将字符串中的每一大写字母都变成的小写字母。将字符串中的每一单词的首字母大写。1.lower()函数的功能。1.title()函数的功能。一.title()函数。二.lower()函数。
阅读更多2024-11-16

人工智能研究生前置知识—扩展程序库Pandas