如何添加复制某些列的新行，但在其他列中分配新值

Question

我有一个看起来像这样的数据框：df = pd.DataFrame({'VisitorID': [1000, 1000, 1000, 1000, 1000, 1000, 1000, 1000],                   'EpochTime': [1554888560, 1554888560, 1554888560, 1554888560, 1554888560, 1521333510, 1521333510, 1521333510],                   'HitTime': [1400, 5340, 7034, 11034, 13059, 990, 4149, 6450],                   'HitNumber':[23, 54, 55, 65, 110, 14, 29, 54],                   'PagePath':['orders/details', 'orders/payment', 'orders/afterpayment', 'orders/myorders', 'customercare', 'orders/details', 'orders/payment', 'orders/myorders']})print(df)   VisitorID   EpochTime  HitTime  HitNumber             PagePath0       1000  1554888560     1400         23       orders/details1       1000  1554888560     5340         54       orders/payment2       1000  1554888560     7034         55  orders/afterpayment3       1000  1554888560    11034         65      orders/myorders4       1000  1554888560    13059        110         customercare5       1000  1521333510      990         14       orders/details6       1000  1521333510     4149         29       orders/payment7       1000  1521333510     6450         54      orders/myorders实际上，我的数据框是 +- 1000 万行。并且有两倍的列。数据由显示客户行为的网站数据组成。我想要做什么为了分析客户在到达被跟踪的第一页之前在网站上的时间，我想在每个组上方添加一行，从列中复制顶行的值：访客编号大纪元但为列提供新值：命中时间 = 0命中数 = 0页面路径 = Home信息：VisitorID+的组合EpochTime使一个组独一无二。我使用以下代码实现了这一点，但运行需要 +- 5 分钟，我认为应该有更快的方法：lst = []for x, y in df.groupby(['VisitorID', 'EpochTime']):    lst.append(y.iloc[:1])df_first = pd.concat(lst, ignore_index=True)df_first['HitTime'] = 0.0df_first['HitNumber'] = 0.0df_first['PagePath'] = 'Home'print(df_first)   VisitorID   EpochTime  HitTime  HitNumber PagePath0       1000  1521333510      0.0        0.0     Home1       1000  1554888560      0.0        0.0     Homedf_final = pd.concat([df, df_first], ignore_index=True).sort_values(['VisitorID', 'EpochTime', 'HitNumber']).reset_index(drop=True)的输出df_final是我的预期输出。所以问题是，我能以更有效的方式做到这一点吗？

Answer 1

您可以DataFrame.drop_duplicates稍微提高性能：

d = {'HitTime':0,'HitNumber':0,'PagePath':'Home'}

df_first = df.drop_duplicates(['VisitorID', 'EpochTime']).assign(**d)

df_final = (pd.concat([df, df_first], ignore_index=True)

             .sort_values(['VisitorID', 'EpochTime', 'HitNumber'])

             .reset_index(drop=True))

print(df_final)

   VisitorID   EpochTime  HitTime  HitNumber             PagePath

0       1000  1521333510        0          0                 Home

1       1000  1521333510      990         14       orders/details

2       1000  1521333510     4149         29       orders/payment

3       1000  1521333510     6450         54      orders/myorders

4       1000  1554888560        0          0                 Home

5       1000  1554888560     1400         23       orders/details

6       1000  1554888560     5340         54       orders/payment

7       1000  1554888560     7034         55  orders/afterpayment

8       1000  1554888560    11034         65      orders/myorders

9       1000  1554888560    13059        110         customercare

另一个想法是df_first通过减去并按索引最后排序来更改索引值：

d = {'HitTime':0,'HitNumber':0,'PagePath':'Home'}

df_first = df.drop_duplicates(['VisitorID', 'EpochTime']).assign(**d)

df_first.index -= .5

df_final = pd.concat([df, df_first]).sort_index().reset_index(drop=True)

print(df_final)

   VisitorID   EpochTime  HitTime  HitNumber             PagePath

0       1000  1554888560        0          0                 Home

1       1000  1554888560     1400         23       orders/details

2       1000  1554888560     5340         54       orders/payment

3       1000  1554888560     7034         55  orders/afterpayment

4       1000  1554888560    11034         65      orders/myorders

5       1000  1554888560    13059        110         customercare

6       1000  1521333510        0          0                 Home

7       1000  1521333510      990         14       orders/details

8       1000  1521333510     4149         29       orders/payment

9       1000  1521333510     6450         54      orders/myorders