在python中将timedelta转换为int非常慢

Question

我有一个包含两列的数据框，每一列由一组日期组成。我想计算日期之间的差异并返回天数。但是，该过程（如上所述）非常缓慢。有谁知道如何加速这个过程？这段代码被用在一个大文件中，速度很重要。dfx = pd.DataFrame([[datetime(2014,1,1), datetime(2014,1,10)],[datetime(2014,1,1), datetime(2015,1,10)],[datetime(2013,1,1),  datetime(2014,1,12)]], columns = ['x', 'y'])dfx['diffx'] = dfx['y']-dfx['x']dfx['diff'] = dfx['diffx'].apply(lambda x: x.days)dfx最终目标：

Answer 1

您可能会发现NumPy的边缘大幅加速，绕过了与pd.Series对象相关的开销。

# Python 3.6.0, Pandas 0.19.2, NumPy 1.11.3

def days_lambda(dfx):

    return (dfx['y']-dfx['x']).apply(lambda x: x.days)

def days_pd(dfx):

    return (dfx['y']-dfx['x']).dt.days

def days_np(dfx):

    return (dfx['y'].values-dfx['x'].values) / np.timedelta64(1, 'D')

# check results are identical

assert (days_lambda(dfx).values == days_pd(dfx).values).all()

assert (days_lambda(dfx).values == days_np(dfx)).all()

dfx = pd.concat([dfx]*100000)

%timeit days_lambda(dfx)  # 5.02 s per loop

%timeit days_pd(dfx)      # 5.6 s per loop

%timeit days_np(dfx)      # 4.72 ms per loop