Pandas：在日期时间上执行 Groupby Rolling 时不保留索引

Question

我有一个数据框，其中一些日期相同。作为问题的说明，我创建了一个日期相同的示例 df。df = pd.DataFrame({"column1": range(6),                    "column2": range(6),                    'group': 3*['A','B'],                    'date':pd.date_range("20190101", periods=6)})df.loc[:,'date']=df.loc[0,'date']df# Output of DF   column1  column2 group       date0        0        0     A 2019-01-011        1        1     B 2019-01-012        2        2     A 2019-01-013        3        3     B 2019-01-014        4        4     A 2019-01-015        5        5     B 2019-01-01对 datetime 列执行 groupby 滚动操作时出现问题：索引未保留。当日期相同时，这是一个问题，因为无法合并回原始数据框（这是我的目标）。df.groupby('group').rolling('2D',on='date')['column1'].sum()# Output of Groupby Rollinggroup  date      A      2019-01-01    0.0       2019-01-01    2.0       2019-01-01    6.0B      2019-01-01    1.0       2019-01-01    4.0       2019-01-01    9.0Name: column1, dtype: float64我有一个可行的替代解决方案，但速度要慢得多。df.groupby('group').apply(lambda x: x.rolling('2D',on='date')['column1'].sum())# Output of Groupby Apply Rolling group   A      0    0.0       2    2.0       4    6.0B      1    1.0       3    4.0       5    9.0Name: column1, dtype: float64希望有比上述更有效的东西。

Answer 1

对于那些感兴趣的人，我创建了一个更复杂的示例 df 来测试上面提出的每个解决方案的效率。

我原来的方法（这里最慢，但如果组很少则效率高）：

%%timeit

df = pd.DataFrame({"column1": range(600), 

                   "column2": range(600), 

                   "column3": range(600),

                   "column4": range(600),

                   "column5": range(600),

                   "column6": range(600),

                   "column7": range(600),

                   "column8": range(600),

                   'group': 5*['l'+str(i) for i in range(120)], 

                   'date':pd.date_range("20190101", periods=600)})

### Set the date the same

df.loc[:,'date']=df.loc[0,'date']

cols = ['column1','column2','column3','column4','column5','column6','column7','column8']

newcols = ['col1','col2','col3','col4','col5','col6','col7','col8']

if newcols[0] not in df.columns:

    df = df.reindex(columns=df.columns.tolist()+newcols)

df[newcols]=df.groupby('group').apply(lambda x: x.rolling('2D',on='date')[cols].sum()

                                     ).sort_index(level=1).drop('date',axis=1).values

# timeit output

345 ms ± 28 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

大卫埃里克森的解决方案。如果有很多组且每个组中的观察值很少，那么它是有效的。

%%timeit

df = pd.DataFrame({"column1": range(600), 

                   "column2": range(600), 

                   "column3": range(600),

                   "column4": range(600),

                   "column5": range(600),

                   "column6": range(600),

                   "column7": range(600),

                   "column8": range(600),

                   'group': 5*['l'+str(i) for i in range(120)], 

                   'date':pd.date_range("20190101", periods=600)})

### Set the date the same

df.loc[:,'date']=df.loc[0,'date']

cols = ['column1','column2','column3','column4','column5','column6','column7','column8']

newcols = ['col1','col2','col3','col4','col5','col6','col7','col8']

if newcols[0] not in df.columns:

    df = df.reindex(columns=df.columns.tolist()+newcols)

my_dict = {}

my_dict["index"] = "max"

my_dict.update(dict.fromkeys(cols, "sum"))

df[newcols]=df.reset_index().groupby('group').rolling('2D',

on='date').agg(my_dict).sort_values('index').drop('index',axis=1).values

# timeit output

110 ms ± 11.5 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

RichieV 提出的最快的解决方案：

%%timeit

df = pd.DataFrame({"column1": range(600), 

                   "column2": range(600), 

                   "column3": range(600),

                   "column4": range(600),

                   "column5": range(600),

                   "column6": range(600),

                   "column7": range(600),

                   "column8": range(600),

                   'group': 5*['l'+str(i) for i in range(120)], 

                   'date':pd.date_range("20190101", periods=600)})

### Set the date the same

df.loc[:,'date']=df.loc[0,'date']

cols = ['column1','column2','column3','column4','column5','column6','column7','column8']

newcols = ['col1','col2','col3','col4','col5','col6','col7','col8']

if newcols[0] not in df.columns:

    df = df.reindex(columns=df.columns.tolist()+newcols)

    

df=df.sort_values(['group','date'],kind='mergesort').reset_index(drop=True)

df[newcols]=df.groupby('group').rolling('2D',on='date')[cols].sum().values

df=df.sort_values('column1',kind='mergesort').reset_index(drop=True)

# timeit output

40 ms ± 6.41 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

Answer 2

您可以使用.reset_index()该列，然后将该index列作为其余列的结果与.groupby和 一起使用.agg。我想这会比 lambda x 快得多。

df = pd.DataFrame({"column1": range(6), 

               "column2": range(6), 

               'group': 3*['A','B'], 

               'date':pd.date_range("20190101", periods=6)})

df = df.reset_index().groupby('group').rolling('5D',on='date').agg({'index' : 'max', 'column1' : 'sum'}))

df

                   index    column1

group   date        

A       2019-01-01  0.0     0.0

        2019-01-03  2.0     2.0

        2019-01-05  4.0     6.0

B       2019-01-02  1.0     1.0

        2019-01-04  3.0     4.0

        2019-01-06  5.0     9.0

从那里，如果你想要没有日期的最终输出格式，你可以这样做：

df = df.reset_index().groupby(['group','index'])['column1'].sum()

group  index

A      0.0      0.0

       2.0      2.0

       4.0      6.0

B      1.0      1.0

       3.0      4.0

       5.0      9.0