我可以在多列上加快 groupby 速度，然后用 1 个句点进行 diff 吗？

Question

我有一个像这样的DataFrame。df = pd.DataFrame({'a': np.random.randint(0, 3, 10**7),                     'b': np.random.randint(0, 4000, 10**7),                     'c': np.random.random(10**7)}我想按前两列分组（无序，与我在此处提供的组数大致相同），然后区分第三列。df.groupby(['a', 'b']).c.diff(periods=-1)可悲的是，这对我来说很慢，但我想这是相当多的工作。>>> %timeit df.groupby(['a', 'b']).c.diff(periods=-1)     10.2 s ± 75.3 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)有什么办法可以避免 Pandas groupby 加快速度吗？我知道在 Pandas 中进行 groupby->reduce 时，通常可以用纯 NumPy 替换，但我不确定这里是否有什么聪明的方法可以代替 groupby 操作。

Answer 1

这确实是一个有趣的问题，因为我们通常只选择groupby()，即使它相当昂贵。

这是另一种更快的方法：

1. 排序方式['a','b']

2. 计算差异，屏蔽每个块中的最后一行NaN

和代码：

s = df.sort_values(['a', 'b'])df['diff_c'] = (s['c'].diff(periods=-1)
                       .where(s.duplicated(['a','b'], keep='last'))
                )

在我的计算机上，您的代码在 8.5 秒内运行，而上述代码在 1.8 秒内运行。