是否有一种快速方法可以使用特定值更新嵌套字典中的一组键？

Question

我有一个帮助字典，其中键是事件对和特征的嵌套元组，特征的数量可以在 1 - N 之间。与事件对相关。该值是所述事件对和特征的支持。我有一个字典d，它是一个嵌套字典，其中将存储每个事件对的支持以及该功能的每个可能的部分重复项。这是在以下代码片段中完成的  help_d = {(('Event 1', 'Event 2'),('Feature A', 'Feature B',...,'Feature T', 'Feature H')) : 10,            (('Event 1', 'Event 3'),('Feature C', 'Feature E',...,'Feature H', 'Feature G')) : 50,            (('Event 1', 'Event 4'),('Feature F', 'Feature G',...,'Feature T', 'Feature X')) : 100,             .....            (('Event 10', 'Event 15'),('Feature D', 'Feature E',....,'Feature V', 'Feature B')) : 5} d = defaultdict(int,defaultdict())  for key,value in help_d.items():     event_a = key[0][0]     event_b = key[0][1]     feature_tuple = key[1]          #Every possible partial duplicate of the features     all_keys_to_update = list(itertools.product(*zip(feature_tuple, itertools.repeat(''))))     #Nested for loop that takes around 3-4 secs per iteration     for key_to_update in all_keys_to_update:         d[(event_a,event_b)][key_to_update] += value其大小help_dict约为 12 000 个按键。该列表的大小all_keys_to_update约为 10 000。嵌套的 for 循环需要大约 3-4 秒的时间来循环，这意味着大约需要 11 个小时才能完成这个特定的代码片段。我只有 3 个事件和 2 个功能的示例help_d = {(('Event 1', 'Event 2'),('Feature A', 'Feature B')) : 10,         (('Event 1', 'Event 2'),('Feature A', 'Feature C')) : 20,         (('Event 1', 'Event 3'),('Feature D', 'Feature C')) : 50,         (('Event 2', 'Event 3'),('Feature D', 'Feature B')) : 10}      是否有更快的方法来更新嵌套字典中具有相同值的一组键？

Answer 1

通过减少索引数量，您可以节省大约 30% 的时间（取决于数据），但考虑到您生成的组合数量巨大，我不知道如何才能使速度更快：

d = defaultdict(lambda:defaultdict(int))

for (events,features),count in help_d.items():

    counts = d[events]

    for combo in product(*zip(features, repeat(''))):

        counts[combo] += count

但是，根据您之后如何使用该字典，仅在使用时生成计数可能会更有效。您可以通过创建一个类或函数来实现给定事件和功能组合的“按需”计算来实现这一点。

help_events = defaultdict(list) # list of feature patterns for each event pair

for (event,features),count in help_d.items():

    help_events[event].append(features)

help_cache = dict() # cached results  

def getFeatureCount(events,pattern):

    # check cache first

    if (events,pattern) in help_cache:

        return help_cache[(events,pattern)]

    # compute total of matching feature patterns

    result   = 0

    for eventFeatures in help_events[events]:

        if all(e==f or f=="" for e,f in zip(eventFeatures,pattern)):

            result += help_d[(events,eventFeatures)]

    #save to cache and return result

    help_cache[(events,pattern)] = result

    return result

用法：

getFeatureCount(('Event 1', 'Event 2'),('Feature A', '')) # --> 30

# wich is equivalent to d[(('Event 1', 'Event 2'),('Feature A', ''))]