在 Python 中合并非常大的 csv 文件

Question

在下面的代码中，我正在合并从变量中包含的某个日期开始的所有 csv 文件：file_date。该代码适用于小型和中等大小的 csv 文件，但在处理非常大的 csv 文件时会崩溃。path = '/Users/Documents/'+file_date+'*'+'-details.csv'+'*'    allFiles = glob.glob(path)    frame = pd.DataFrame()    list_ = []    for file_ in allFiles:        frame = pd.read_csv(file_,index_col=None, header=0)        print frame.shape         list_.append(frame)        df = pd.concat(list_)        print df.shape    df.to_csv('/Users/Documents/'+file_date+'-details.csv',sep=',', index = False)我可以分块处理每个文件吗？如果是，我该怎么做？

Answer 1

如果你不处理文件，你甚至不需要熊猫。只需逐行读取文件并将其写入新文件：

with open('outfile.csv', 'w') as outfile:

    for i, filename in enumerate(all_files):

        with open(filename, 'r') as infile:

            for rownum, line in enumerate(infile):

                if (i != 0) and (rownum == 0):    # Only write header once

                    continue

                outfile.write(line + '\n')