第五节 数据清洗

一、处理缺失数据

在pandas中，我们采用了R语言中的惯用法，即将缺失值表示为NA，它表示不可用not available。在统计应用中，NA数据可能是不存在的数据或者虽然存在，但是没有观察到（例如，数据采集中发生了问题）。当进行数据清洗以进行分析时，最好直接对缺失数据进行分析，以判断数据采集的问题或缺失数据可能导致的偏差。

Python内置的None值在对象数组中也可以作为NA。

处理缺失数据的方法有：

1、滤除缺失数据

2、填充缺失数据

填充用fillna函数，它的参数有:

其中method的插值方法可以用前面介绍过的reindex方法

二、数据转换

1、移除重复数据

DataFrame的duplicated方法返回一个布尔型Series，表示各行是否是重复行（前面出现过的行）：

还有一个与此相关的drop_duplicates方法，它会返回一个DataFrame，重复的数组会标为False：

这两个方法默认会判断全部列，你也可以指定部分列进行重复项判断。假设我们还有一列值，且只希望根据k1列过滤重复项：

duplicated和drop_duplicates默认保留的是第一个出现的值组合。传入keep='last'则保留最后一个：

2、利用函数或映射进行数据转换

添加一列表示该肉类食物来源的动物类型：

Series的map方法可以接受一个函数或含有映射关系的字典型对象：

作者：owolf
链接：https://www.jianshu.com/p/de14291fc2d8