Pandas groupby 然后删除低于指定大小的组

Question

我正在尝试将 DataFrame 分成组并将组删除到最小大小（小异常值）以下。这是我尝试过的：df.groupby(['A']).filter(lambda x: x.count() > min_size)df.groupby(['A']).filter(lambda x: x.size() > min_size)df.groupby(['A']).filter(lambda x: x['A'].count() > min_size)df.groupby(['A']).filter(lambda x: x['A'].size() > min_size)但是这些要么抛出异常，要么返回与我预期不同的表。我只想过滤，而不是计算新表。

Answer 1

您可以使用len：

In [11]: df = pd.DataFrame([[1, 2], [1, 4], [5, 6]], columns=['A', 'B'])

In [12]: df.groupby('A').filter(lambda x: len(x) > 1)

Out[12]:

   A  B

0  1  2

1  1  4

Answer 2

行数在属性中.shape[0]：

df.groupby('A').filter(lambda x: x.shape[0] >= min_size)

注意：如果要删除小于最小尺寸的组，请保留大于或处于最小尺寸（>=，不是>）的组。

Answer 3

groupby.filter对于较大的数据集/大量组，可能会非常慢。更快的方法是使用groupby.transform：

下面是一个例子，首先创建数据集：

import pandas as pd

import numpy as np

df = pd.concat([

    pd.DataFrame({'y': np.random.randn(np.random.randint(1,5))}).assign(A=str(i)) 

    for i in range(1,1000)

]).reset_index(drop=True)

print(df)

             y    A

0     1.375980    1

1    -0.023861    1

2    -0.474707    1

3    -0.151859    2

4    -1.696823    2

...        ...  ...

2424  0.276737  998

2425 -0.142171  999

2426 -0.718891  999

2427 -0.621315  999

2428  1.335450  999

[2429 rows x 2 columns]

计时：