9号彩票开户

关注微信  |  微博  |  腾讯微博  |  RSS订阅
读者QQ群③:168129342,投稿请发dashuju36@qq.com
我要投稿

Pandas 常见的基本方法

作者:实验楼

前言:

Pandas 是非常著名的开源数据处理工具,我们可以通过它对数据集进行快速读取、转换、过滤、分析等一系列操作。除此之外,Pandas 拥有强大的缺失数据处理与数据透视功能,可谓是数据预处理中的必备利器。文章带你学会 Pandas 中的一些常用的基本方法。

知识点:

  • 数据读取与存储
  • Head & Tail
  • 统计方法
  • 计算方法
  • 标签对齐
  • 排序

数据文件:

学习本课程之前,请先打开在线环境终端,下载本文可能会用到的两个数据文件。

wget http://labfile.oss.aliyuncs.com/courses/906/los_census.csv
wget http://labfile.oss.aliyuncs.com/courses/906/los_census.txt

两个文件均为为洛杉矶人口普查数据,仅格式有区别。

下面的内容均在 iPython 交互式终端中演示,你可以通过在线环境左下角的应用程序菜单 > 附件打开。如果你在本地进行练习,推荐使用 Jupyter Notebook 环境。

Pandas 常见的基本方法

1 数据读取与存储

Pandas 支持大部分常见数据文件读取与存储。一般清楚下,读取文件的方法以pd.read_开头,而写入文件的方法以pd.to_开头。详细的表格如下。

大数据

拿刚刚下载好的数据文件举例,如果没有下载,请看文章开头的数据文件的获取方法。

import pandas as pd

df = pd.read_csv("los_census.csv") #读取 csv 文件
print df

大数据

可以看到,文件已经读取出来了。由于列数太多,所以分段显示了。输出的最下方会有一个行数和列数的统计。这里是 319 行 X 7 列。

大数据

我们可以发现,由 pandas 读取的文件就已经是 DataFrame 结构了。上面演示了 csv 文件的读取,其余格式的文件也很相似。

不过,很多时候我们拿到手的数据是像los_census.txt文件样式的数据,如下图所示。

import pandas as pd

df = pd.read_table("los_census.txt") #读取 txt 文件
print df

大数据

其实los_census.txt也就是los_census.csv文件,因为csv文件又叫逗号分隔符文件,数据之间采用逗号分割。

那么,我们怎样将这种文件转换为 DataFrame 结构的数据呢?这里就要使用到读取方法中提供的一些参数了,例如sep[]分隔符参数。

import pandas as pd

df = pd.read_table("los_census.txt", sep=',') #读取 txt 文件
print df

大数据

除了sep,读取文件时常用的参数还有:

  1. header=,用来选择将第几行作为列索引名称。
  2. names=[],自定义列索引名称。

例如:

import pandas as pd

df = pd.read_csv("los_census.csv", header=1 ) #将第二行作为列索引名称。
print df

大数据

import pandas as pd

df = pd.read_csv("los_census.csv", names=['A', 'B', 'C', 'D', 'E', 'F', 'G']) #自定义列索引名称。
print df

大数据

好了,说了这么久的读取文件,再说一说存储文件。存储文件的方法也很简单。比如我们将los_census.csv文件,存储为json格式的文件。

import pandas as pd

df = pd.read_csv("los_census.csv")  #读取 csv 文件

df.to_json("1.json") # 将其存储为 json 格式文件

大数据

当然,你也可以通过to_excel(“1.xlsx”)储存为 Excel 默认支持的.xlsx格式。只是,需要注意在线环境会报错。这时候需要再补充安装openpyxl包就好了:

sudo pip install openpyxl

2 Head & Tail

有些时候,我们读取的文件很大。如果全部输出预览这些文件,既不美观,又很耗时。还好,Pandas 提供了head()和tail()方法,它可以帮助我们只预览一小块数据。

顾名思义,head()方法就是从数据集开头预览,不带参数默认显示头部的 5 条数据,你也可以自定义显示条数。

import pandas as pd

df = pd.read_csv("los_census.csv")  #读取 csv 文件

print df.head() # 默认显示前 5 条
print df.head(7) # 显示前 7 条

大数据

大数据

tail()方法就是从数据集尾部开始显示了,同样默认 5 条,可自定义。

import pandas as pd

df = pd.read_csv("los_census.csv")  #读取 csv 文件

print df.tail() # 默认显示后 5 条
print df.tail(7) # 显示后 7 条

大数据
大数据

3 统计方法

Pandas 提供了几个统计和描述性方法,方便你从宏观的角度去了解数据集。

1).describe()

describe()相当于对数据集进行概览,会输出该数据集的计数、最大值、最小值等。

import pandas as pd

df = pd.read_csv("los_census.csv")  #读取 csv 文件

print df.describe()

大数据

例如上面,针对一个 DataFrame 会对每一列的数据单独统计。
2).idxmin() & idxmax()
idxmin()和idxmax()会计算最小、最大值对应的索引标签。

import pandas as pd

df = pd.read_csv("los_census.csv")  #读取 csv 文件

print df.idxmin()
print df.idxmax()

大数据

3).count()
count()用于统计非空数据的数量。

import pandas as pd

df = pd.read_csv("los_census.csv")  #读取 csv 文件

print df.count()

大数据

4).value_counts()

value_counts()仅仅针对 Series,它会计算每一个值对应的数量统计。

import pandas as pd
import numpy as np

s = pd.Series(np.random.randint(0, 9, size=100)) # 生成一个 Series,并在 0-9 之间生成 100 个随机值。

print s
print s.value_counts()

大数据

4 计算方法

除了统计类的方法,Pandas 还提供了很多计算类的方法。
1).sum()
sum()用于计算数值数据的总和。

import pandas as pd

df = pd.read_csv("los_census.csv")  #读取 csv 文件

print df.sum()

大数据

2).mean()
mean()用于计算数值数据的平均值。

import pandas as pd

df = pd.read_csv("los_census.csv")  #读取 csv 文件

print df.mean()

大数据

3).median()
median()用于计算数值数据的算术中值。

import pandas as pd

df = pd.read_csv("los_census.csv")  #读取 csv 文件

print df.median()

大数据

除此之外,剩下的一些常见计算方法如下表所示。

大数据

5 标签对齐

索引标签是 Pandas 中非常重要的特性,有些时候,由于数据的缺失等各种因素导致标签错位的现象,或者想匹配新的标签。于是 Pandas 提供了索引标签对齐的方法reindex()。

reindex()主要有三个作用:

  1. 重新排序现有数据以匹配新的一组标签。
  2. 在没有标签对应数据的位置插入缺失值(NaN)标记。
  3. 特殊情形下,使用逻辑填充缺少标签的数据(与时间序列数据高度相关)。
import pandas as pd

s = pd.Series(data=[1, 2, 3, 4, 5], index=['a', 'b', 'c', 'd', 'e'])

print s
print s.reindex(['e', 'b', 'f', 'd'])

大数据

我们可以看到,重新排列的数据中,原有索引对应的数据能自动匹配,而新索引缺失的数据通过NaN补全。

当然,对于 DataFrame 类型的数据也是一样的。

import pandas as pd

df = pd.DataFrame(data={'one': [1, 2, 3], 'two': [4, 5, 6], 'three': [7, 8, 9]}, index=['a', 'b', 'c'])

print df

大数据

print df.reindex(index=['b', 'c', 'a'], columns=['three', 'two', 'one'])

大数据

你甚至还可以将上面 Series 的数据按照下面的 DataFrame 的索引序列对齐。

print s.reindex(df.index)

大数据

6 排序

既然是数据处理,就少不了排序这一常用的操作。在 Pandas 中,排序拥有很多「姿势」,下面就一起来看一看。

1). 按索引排序

首先是按照索引排序,其方法为Series.sort_index()或者是DataFrame.sort_index()。

import pandas as pd

df = pd.DataFrame(data={'one': [1, 2, 3], 'two': [4, 5, 6], 'three': [7, 8, 9], 'four': [10, 11, 12]}, index=['a', 'c', 'b'])

print df

大数据

下面按索引对行重新排序:

print df.sort_index()

大数据

或者添加参数,进行倒序排列:

print df.sort_index(ascending=False)

大数据

2). 按数值排序
第二种是按照数值排序,其方法为Series.sort_values()或者是DataFrame.sort_values()。举个例子:

import pandas as pd

df = pd.DataFrame(data={'one': [1, 2, 3, 7], 'two': [4, 5, 6, 9], 'three': [7, 8, 9, 2], 'four': [10, 11, 12, 5]}, index=['a', 'c', 'b','d'])

print df

大数据

将第三列按照从小到大排序:

print df.sort_values(by='three')

大数据

也可以同时按照两列:

print df[['one', 'two', 'three', 'four']].sort_values(by=['one','two'])

大数据

最后

文章带你熟悉了 Pandas 中一些基本方法,这些方法是针对数据集操作过程中经常遇到的。当然,由于不可能面面俱到,这里面提到的方法也只是冰山一角。在数据分析实践中,还需要多多依据需求查阅官方文档。

教程【Pandas 使用教程】总共5节,文章截选的是第2节内容,教程列表如下:

  • Pandas 安装与数据结构
  • Pandas 常用的基本方法
  • Pandas 数据选择与过滤
  • Pandas 进行缺失值处理
  • Pandas 时间序列分析

End.

转载请注明来自36大数据(36dsj.com):36大数据 » Pandas 常见的基本方法

36大数据   除非特别注明,本站所有文章均不代表本站观点。报道中出现的商标属于其合法持有人。请遵守理性,宽容,换位思考的原则。

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
友情链接:金彩彩票  北京赛车pk拾现场开奖  幸运农场  万彩会彩票  北京赛车pk拾官方开奖  

免责声明: 本站资料及图片来源互联网文章,本网不承担任何由内容信息所引起的争议和法律责任。所有作品版权归原创作者所有,与本站立场无关,如用户分享不慎侵犯了您的权益,请联系我们告知,我们将做删除处理!