如何优化大数据量的for计算？

Question

k = [...]d = {}for i in kws:    d.setdefault(i,0)    for j in kws:        if i == j:            continue        if i in j:            d[i] += 1求解如何提供运算速度？

Answer 1

1. 如果可能的话，优化算法，降低复杂度

2. 上jit， numba/pypy

Answer 2

@pykit.runTime

def parse():

    p = {}

    for k in kws:

        for i in k.split():

            p.setdefault(i,[]).append(k)

    for k in kws:

        r = [set(p[i]) for i in k.split()]

        r = set.intersection(*r)

        d[k] = len(r)-1

kws = [...]

d = {}

d.fromkeys(kws,0)

parse()

研究了一下倒排，速度提高十倍以上