Pandas系列3-DataFrame之增加与删除

在使用Pandas的过程增删改查是频繁使用的操作，这一节主要就是展示DataFrame常用的增加和删除操作

增加行和增加列

# 增加一列，我们可以有两种方式，如下：In [345]: df
Out[345]:
   one  two
a    0    1
b    4    5
c    8    9
d   12   13

In [346]: df['three'] = [3, 5, 5, 7]

In [347]: df
Out[347]:
   one  two  three
a    0    1      3
b    4    5      5
c    8    9      5
d   12   13      7# 或者使用locIn [369]: df
Out[369]:
   one  two  three
a    0    1      2
b    4    5      6
c    8    9     10
d   12   13     14

In [370]: df.loc[:, "four"] = [1, 4, 5, 9]

In [371]: df
Out[371]:
   one  two  three  four
a    0    1      2     1
b    4    5      6     4
c    8    9     10     5
d   12   13     14     9

需要注意的是使用如上两种方式增加一列的时候，其数组的长度必须与原有DataFrame的行数相同，否则会报如下错误

ValueError: Length of values does not match length of index

增加行同样我们也可以使用loc, 如下:

In [376]: df
Out[376]:
   one  two  three  four
a    0    1      2     3
b    4    5      6     7
c    8    9     10    11
d   12   13     14    15

In [377]: df.loc['e'] = [3, 7, 8, 9]

In [378]: df
Out[378]:
   one  two  three  four
a    0    1      2     3
b    4    5      6     7
c    8    9     10    11
d   12   13     14    15
e    3    7      8     9

但很多时候，我们并不需要row index, 只想自动增加一行，那么可以通过如下的方式

In [379]: df.loc[df.shape[0]+1] = [3, 5, 9, 9]

In [380]: df
Out[380]:
   one  two  three  four
a    0    1      2     3
b    4    5      6     7
c    8    9     10    11
d   12   13     14    15
e    3    7      8     9
6    3    5      9     9

另外，我们还可以将数据转化为Series，然后利用concat或者append的方式将其与原有的DataFrame进行合并。这种方式不仅可以添加一行数据，也可以一次性添加多行数据。

In [392]: df = pd.DataFrame(np.arange(16).reshape((4,4)), index=[1, 2, 3, 4], columns=['a',
     ...:  'b', 'c','d'])

In [393]: df2 = pd.DataFrame(np.arange(16).reshape((4,4)), index=[5, 6, 7, 8], columns=['a'
     ...: , 'b', 'c','d'])# 这里相当于添加了多行数据In [394]: pd.concat([df, df2])
Out[394]:
    a   b   c   d
1   0   1   2   3
2   4   5   6   7
3   8   9  10  11
4  12  13  14  15
5   0   1   2   3
6   4   5   6   7
7   8   9  10  11
8  12  13  14  15

更多关于concat和append将在后续的章节详细讲解。

删除行和删除列

In [751]: df
Out[751]:
           age  color    food  height  score state
Jane        30   blue   Steak     178    4.6    NY
Nick         2  green    Lamb     181    8.3    TX
Aaron       12    red   Mango     178    9.0    FL
Penelope     4  white   Apple     178    3.3    AL
Dean        32   gray  Cheese     175    1.8    AK
Christina   33  black   Melon     178    9.5    TX
Cornelia    69    red   Beans     178    2.2    TX# 使用drop删除index为'Dean'的行In [752]: df.drop(['Dean'])
Out[752]:
           age  color   food  height  score state
Jane        30   blue  Steak     178    4.6    NY
Nick         2  green   Lamb     181    8.3    TX
Aaron       12    red  Mango     178    9.0    FL
Penelope     4  white  Apple     178    3.3    AL
Christina   33  black  Melon     178    9.5    TX
Cornelia    69    red  Beans     178    2.2    TX

In [749]: df
Out[749]:
           age  color    food  height  score state
Jane        30   blue   Steak     178    4.6    NY
Nick         2  green    Lamb     181    8.3    TX
Aaron       12    red   Mango     178    9.0    FL
Penelope     4  white   Apple     178    3.3    AL
Dean        32   gray  Cheese     175    1.8    AK
Christina   33  black   Melon     178    9.5    TX
Cornelia    69    red   Beans     178    2.2    TX# 使用drop删除名为'height'的列，注意需要使用axis=1# 使用inplace来空值是在同一块内存还是copyIn [750]: df.drop(['height'], axis=1, inplace=True)
Out[750]:
           age  color    food  score state
Jane        30   blue   Steak    4.6    NY
Nick         2  green    Lamb    8.3    TX
Aaron       12    red   Mango    9.0    FL
Penelope     4  white   Apple    3.3    AL
Dean        32   gray  Cheese    1.8    AK
Christina   33  black   Melon    9.5    TX
Cornelia    69    red   Beans    2.2    TX# drop多列df.drop(['height', 'food'], axis=1, inplace=True)

条件删除

由于在数据清洗的过程中经常需要删除不符合条件的record，所以以下这种条件过滤行就非常有用。需要注意的是，这里是重新生成了一个DataFrame，而不是直接在原有的DataFrame上修改

In [755]: df2 = df[df.color!='blue']

In [756]: df2
Out[756]:
           age  color    food  height  score state
Nick         2  green    Lamb     181    8.3    TX
Aaron       12    red   Mango     178    9.0    FL
Penelope     4  white   Apple     178    3.3    AL
Dean        32   gray  Cheese     175    1.8    AK
Christina   33  black   Melon     178    9.5    TX
Cornelia    69    red   Beans     178    2.2    TX

去重

使用drop_duplicates，我们可以去掉重复项，这是一个非常有用的函数，下面我们来详细分析下

• 通过参数subset,指定去重比较时用哪些column。如果不指定则所有的数据都会比较，只有所有列的数据都一致的时候才会去掉，否则不会去掉，如下：

In [459]: df_con2
Out[459]:
  uid  num1  num20  a1     1   4.01  a2     3   5.02  b1     5   7.00  a1     2   4.01  a2     5   NaN2  a3     2   2.0In [460]: df_drop = df_con2.drop_duplicates()

In [461]: df_drop
Out[461]:
  uid  num1  num20  a1     1   4.01  a2     3   5.02  b1     5   7.00  a1     2   4.01  a2     5   NaN2  a3     2   2.0

我们可以让两个dataframe只比较uid列，只要这一列的数据重复，我们就认为重复，如下：

In [462]: df_drop2 = df_con2.drop_duplicates(subset='uid')

In [463]: df_drop2
Out[463]:
  uid  num1  num2
0  a1     1   4.0
1  a2     3   5.0
2  b1     5   7.0
2  a3     2   2.0

• 另外从上边的例子可以看出，其去重是去掉了后边出现的重复的项，我们也可以保留后边的项，将前边的项去掉，那么就需要使用keep参数。另外，我们也可以直接在DataFrame中进行去重，而不需要再另外copy一份数据，这可以通过inplace=True来实现，示例如下：

In [453]: df_con
Out[453]:
  uid  num1  num20  a1     1   4.01  a2     3   5.02  b1     5   7.00  a1     2   4.01  a2     5   NaN2  a3     2   2.0# 注意这里没有赋值操作，因为使用了inplace=True# 使用keep='last'用于保存后边的数据，删除前边的重复项In [454]: df_con.drop_duplicates(subset='uid', keep='last', inplace=True)

In [455]: df_con
Out[455]:
  uid  num1  num22  b1     5   7.00  a1     2   4.01  a2     5   NaN2  a3     2   2.0

作者：geekpy
链接：https://www.jianshu.com/p/cb50d47e8130