一、前言
本文主要介绍了在Python中,如何利用Pandas去读取数据、查询指定条件的数据、以及数据的详细信息.
二、数据集
网上随便找的数据集
三、数据查看常用方法
1、读取数据
import pandas as pd
#读取excel文件
data=pd.read_excel('C:/Users/abc/Desktop/users_info.xlsx')
2、查看数据的大小
数据量(行)、数据指标(列)、数据维度、尺寸
#查看数据尺寸
print(data.shape)
#查看数据数量
print(data.size)
3、获取前/后N条数据
- 获取前4条数据:
- head()方法
print(data.head(4))
- 默认获取前5条数据:
print(data.head())
- 获取后N条数据: 使用tail()函数
- 默认显示后5条
print(data.tail(4))
4、完整展示每个字段的数据
如下图:有些字段的数据被折叠起来,用省略号表示
- 可以通过设置界面显示的最大列数据量来解决
- 参数:max_columns
- 若设置的数大于数据表的列数,则可以完整地展示所有列的内容
- 比如数据表共有37列数据,我们不妨把数字设置为40
#设置界面显示的最大行列数据量
#若设置的数大于数据表的列数,则可以完整地展示所有列的内容
pd.options.display.max_columns= 40
data.head()
结果:
可以看到之前被折叠的数据已经全部展示出来了
- 若不知道数据有多少列,参数max_columns的值可以设为None,也可以完整展示所有字段的数据
#设置界面显示的最大列数据量
#若设置的数大于数据表的列数,则可以完整地展示所有列的内容
pd.options.display.max_columns= None
data.head()
5、行的数据被折叠
如图:数据表的行数较多时,直接展示的话,部分数据会被折叠起来,用省略号表示
- 设置最大行参数max_rows的值即可解决
- pd.options.display.max_rows= None :即展示所有行的数据
- 若数据量较大,数据全部展示的话,比较耗时间,此时可以选择head()方法来显示前N条数据
#设置界面显示的最大行数据量
#若设置的数大于数据表的列数,则可以完整地展示所有列的内容
pd.options.display.max_rows= None
data
四、查看指定条件的数据
1、查询指定字段内容的数据
如图:字段名为"ORGANIZE_NAME",字段值为“统计班”的数据共有27条,37是指数据表共有37个字段
#查看指定条件的数据表
data[data['ORGANIZE_NAME']=='统计班'].shape
2、查询条件的叠加
如图:字段名为"ORGANIZE_NAME",字段值为“统计班”,并且字段”address“为广州的数据共有22条
#叠加条件
data[data['ORGANIZE_NAME']=='统计班'][data['address']=='广州'].shape
3、查看指定行/列的数据
(1)查看指定列
- 查看字段名为 "ORGANIZE_NAME"的前5个内容:
#查看指定列
data["ORGANIZE_NAME"].head()
- 查看字段名为"ORGANIZE_NAME" 和 字段名为“address” 的前5个内容:
#查看多列数据
data[["ORGANIZE_NAME","address"]].head()
(2)查看指定行
【20:30】: 查询的数据范围包含左区间,不包含右区间
#查看指定行
data[20:25]
(3)查看指定的行和列
- 使用loc方法
- loc[20,“ORGANIZE_NAME”]:
即查看第20行,字段名为“ORGANIZE_NAME ” 的数据
#查看指定的行和列
data.loc[20,"ORGANIZE_NAME"]
- 查看字段名为“ORGANIZE_NAME ” 第20到30行的数据
#查看指定的行和列
data.loc[20:30,"ORGANIZE_NAME"]
- 查看多行多列数据:
#查看指定的行和列
data.loc[20:30,["ORGANIZE_NAME","ACCOUNT"]]
- iloc方法:
- 该方法可以对列进行索引查询,而loc方法不可以对列进行索引查询
- 查看前5列的第20-30行的数据
#查看指定行和列
data.iloc[20:31,:5]
- iat方法:查看指定行和列的数据:
查询第10行第1列的数据:
#查看指定行和列
data.iat[10,0]
等价于:
#查看指定行和列
data.loc[10,"USER_ID"]
五、查看数据的详细信息
1、查看数据的详细信息、数据指标的类型
#查看数据的详细信息和数据指标的类型
data.dtypes
2、统计不同类型数据指标的数量
比如下图:数据类型为 int64 的有2个字段
#统计不同类型数据指标的数量
from collections import Counter
Counter(data.dtypes.values)
3、查看数据的详细信息
包括:指标类型统计、数据大小、内存占用信息
#查看数据的详细信息、指标类型统计、数据大小、内存占用信息
data.info()