Pandas DataFrame.Groupby.Agg 字典中的自定义列选择

Question

我在选择要在 Pandas.DataFrame.Groupby.agg 中插入哪些列时遇到问题。这是获取和准备数据的代码。# Data Collecting and library importfrom pandas_datareader import dataimport pandas as pdsymbol = 'AAPL'source = 'yahoo'start_date = '2018-01-01'end_date = '2019-04-24'stock = data.DataReader(symbol, source, start_date, end_date)new_range = pd.date_range(start="2018-1-1", end="2019-12-30")stock = stock.reindex(new_range).fillna(method='ffill').fillna(method='bfill')stock['Day'] = stock.index.weekday_namestock['Month'] = stock.index.month_name()stock['Size'] = stock['High'].apply(lambda x: 'Big' if x>175 else 'Small')stock['Other Size'] = stock['Low'].apply(lambda x: 'Big' if x>175 else 'Small')stock.round(2)stock.head(10)这导致 到目前为止我所做的是stock.groupby(['Day', 'Month']).agg(    {        'High' : [min, 'mean', max],        'Low' : [min, 'mean', max],        'Open' : 'mean',        'Size' : lambda x: x.value_counts().index[0],        # Other_non_numeric : lambda x: x.value_counts().index[1],        # Other_columns : 'mean'    }).round(2)这导致：问题是：如何包含其他非数字列？如何在字典中包含其他未确定的列并将方法设置为“平均值”？

Answer 1

1）要确定一列是否为数字，您可以使用pandas.api.types.is_numeric_dtype

2）要查找剩余的列，您可以使用set(df.columns)减去您使用的列groupby以及具有特定聚合函数的列，例如

from pandas.api.types import is_numeric_dtype

fields_groupby = ['Day', 'Month']

fields_specific = {

    'High': [min, 'mean', max],

    'Low': [min, 'mean', max],

    'Open': 'mean',

    'Size': lambda x: x.value_counts().index[0],

}

fields_other = set(set(stock.columns) - set(fields_groupby) - set(fields_specific))

fields_agg_remaining = {col: 'mean' if is_numeric_dtype(stock[col]) else lambda x: x.value_counts().index[1] for col in fields_other}

之后，将 和 的集合组合为fields_specificaggfields_agg_remaining字段列表

agg_fields = fields_agg_remaining

agg_fields.update(fields_specific)

stock.groupby(['Day', 'Month']).agg(agg_fields).round(2)

编辑：您可以组合所有内容以将它们放入字典参数中，例如：

stock.groupby(['Day', 'Month']).agg(

    {col:

         [min, 'mean', max] if col in ['High', 'Low'] else

         'mean' if col in ['Open'] else

         lambda x: x.value_counts().index[0] if col in ['Size'] else

         'mean' if is_numeric_dtype(stock[col]) else

         lambda x: x.value_counts().index[1] for col in set(set(stock.columns) - {'Day', 'Month'})}

).round(2)