• 个人主页：JoJo的数据分析历险记
• 个人介绍：小编大四统计在读，目前保研到统计学top3高校继续攻读统计研究生
• 如果文章对你有帮助，欢迎关注、点赞、收藏、订阅专栏

在上一篇文章中，介绍了如何使用python导入数据，导入数据后的第二步往往就是数据清洗，下面我们来看看如何使用pandas进行数据清洗工作

导入相关库

import pandas as pd

dataframe = pd.read_csv(r\'C:/Users/DELL/data-science-learning/python数据分析笔记/探索性数据分析/train.csv\')
dataframe.head(5)

1.总览数据

• 查看数据维度

dataframe.shape

(891, 12)

• 描述性统计分析

dataframe.describe()

2.筛选数据

• 过滤所有女性和年龄大于60岁的乘客

dataframe[(dataframe[\'Sex\'] == \'female\') & (dataframe[\'Age\']>=60)]

可以看出，一共有四名年龄大于60岁的女性乘客

3.替换数据

• 将female换成woman，将male换成man

dataframe[\'Sex\'].replace([\'female\',\'male\'],[\'woman\',\'man\']).head(5)

0      man
1    woman
2    woman
3    woman
4      man
Name: Sex, dtype: object

4.更改列名

• 查看所有列名

dataframe.columns

Index([\'PassengerId\', \'Survived\', \'Pclass\', \'Name\', \'Sex\', \'Age\', \'SibSp\',
       \'Parch\', \'Ticket\', \'Fare\', \'Cabin\', \'Embarked\'],
      dtype=\'object\')

• 重命名列
  

dataframe.rename(columns={\'Pclass\':\'Passenger Class\',\'Sex\':\'Gender\'}).head()

5.查找唯一值

在pandas中，我们可以使用unique()查找唯一值

# 查找唯一值
dataframe[\'Sex\'].unique()

array([\'male\', \'female\'], dtype=object)

# 显示唯一值出现的个数
dataframe[\'Sex\'].value_counts()

male      577
female    314
Name: Sex, dtype: int64

# 查找类型票的数量
dataframe[\'Pclass\'].value_counts()

3    491
1    216
2    184
Name: Pclass, dtype: int64

# 查找唯一值的种类
dataframe[\'Pclass\'].nunique()

3

6.查找缺失值

# 查找空数据
dataframe[dataframe[\'Age\'].isnull()].head()

pandas没有NaN 如果想要处理的话必须导入numpy包

import numpy as np
dataframe[\'Sex\'].replace(\'male\',np.nan).head()

0       NaN
1    female
2    female
3    female
4       NaN
Name: Sex, dtype: object

7.删除列或行

# 删除一列，采用drop方法，并传入参数axis
dataframe.drop(\'Age\',axis=1).head()

#删除行
dataframe.drop(1)

# 删除重复行 使用subset参数指明要删除的列
dataframe.drop_duplicates(subset=\'Sex\').head()

8. groupby分组

• 计算男性和女性的平均值

思路一，将所有男性和女性的条件进行选取分别计算

man = dataframe[dataframe[\'Sex\']==\'male\']
woman = dataframe[dataframe[\'Sex\']==\'female\']
print(man.mean())
print(woman.mean())

Age         31.014338
Survived     0.166863
SexCode      0.000000
dtype: float64
Age         29.396424
Survived     0.666667
SexCode      1.000000
dtype: float64

思路二，用groupby方法简化

dataframe.groupby(\'Sex\').mean()

# 按行分组，计算行数
dataframe.groupby(\'Sex\')[\'Name\'].count()

Sex
female    462
male      851
Name: Name, dtype: int64

dataframe.groupby([\'Sex\',\'Survived\']).mean()

9.按照时间段来进行分组

• 使用resample参数来进行取样本

# 创建时期范围
time_index = pd.date_range(\'06/06/2017\', periods=100000, freq=\'30S\') # periods表示有多少数据，freq表示步长

dataframe = pd.DataFrame(index=time_index)

# 创建一个随机变量
dataframe[\'Sale_Amout\'] = np.random.randint(1, 10, 100000)

# resample 参数，按周对行分组，计算每一周的总和
dataframe.resample(\'W\').sum()

# 使用resample可以按一组时间间隔来进行分组，然后计算每一个时间组的某个统计量
dataframe.resample(\'2W\').mean()

dataframe.resample(\'M\').count()

# resample默认是以最后一个数据作 使用label参数可以进行调整
dataframe.resample(\'M\', label=\'left\').count()

10.遍历一个列的数据

dataframe = pd.read_csv(url)

# 以大写的形势打印前两行的名字
for name in dataframe[\'Name\'][0:2]:
    print(name.upper())

ALLEN, MISS ELISABETH WALTON
ALLISON, MISS HELEN LORAINE

11.对一列的所有元素应用某个函数

def uppercase(x):
    return x.upper()

dataframe[\'Name\'].apply(uppercase)[0:2]

0    ALLEN, MISS ELISABETH WALTON
1     ALLISON, MISS HELEN LORAINE
Name: Name, dtype: object

12. pandas高级函数

dataframe.groupby(\'Sex\').apply(lambda x:x.count())

通过联合使用groupby 和apply，我们就能计算自定义的统计量
例如上面我们发现age、cabin具有大量的缺失值

13. 连接多个Dataframe

data_a = {\'id\':[\'1\', \'2\', \'3\'],
          \'first\': [\'Alex\', \'Amy\', \'Allen\'],
          \'last\': [\'Anderson\', \'Ackerman\', \'Ali\']}
dataframe_a = pd.DataFrame(data_a, columns=[\'id\',\'first\', \'last\'])

data_b = {\'id\':[\'4\', \'5\', \'6\'],
          \'first\': [\'Billy\', \'Brian\', \'Bran\'],
          \'last\': [\'Bonder\', \'Black\', \'Balwner\']}
dataframe_b = pd.DataFrame(data_b, columns=[\'id\',\'first\', \'last\'])

pd.concat([dataframe_a, dataframe_b], axis=0)#在行的方向进行

pd.concat([dataframe_a, dataframe_b], axis=1)#在列的方向进行

# 也可以用append方法进行添加
c = pd.Series([10, \'Chris\', \'Chillon\'], index=[\'id\',\'first\',\'last\'])

dataframe.append(c, ignore_index=True)#如果c原来有名字忽略