python内存、flush、csv大小问题

Question

在解决了数据集的排序后，我的代码在这一点上遇到了问题。with open(fns_land[xx]) as infile:    lines = infile.readlines()    for line in lines:        result_station.append(line.split(',')[0])        result_date.append(line.split(',')[1])        result_metar.append(line.split(',')[-1])我的线路有问题。在这一行中，数据有时很大，我得到一个终止错误。有没有一种简短/不错的方法来重写这一点？

Answer 1

使用readline它，一次读取一行，而不将整个文件加载到内存中。

with open(fns_land[xx]) as infile:

    while True:

        line = infile.readline()

        if not line:

            break

        result_station.append(line.split(',')[0])

        result_date.append(line.split(',')[1])

        result_metar.append(line.split(',')[-1])