如何将大型 CSV 加载到 Python 中，选择特定列并另存为新 CSV？

Question

我有一个 CSV 文件，大约有 800 万行，大小约为 3gb。我有一个要保存到新 CSV 中的特定列的列表。我一直在尝试将 Panda 与 Python 结合使用，但我就是做不好。这是我一直在使用的代码：import pandas as pddf = pd.read_csv('MyFile.csv' , usecols = ['AAA','BBB','CCC',])在最后一条命令之后，终端行返回 3 个点，如“...”。然后我尝试输入这个命令df.to_csv('NewFile.csv', index=False)但我收到以下错误：file "<stdin>", line 2  df.to_csv('NewFile.csv', index=False)   ^SyntaxError: invalid syntax任何帮助将不胜感激。谢谢你。编辑：这就是整个终端屏幕文本。Python 3.7.6 (default, Jan  8 2020, 20:23:39) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32Type "help", "copyright", "credits" or "license" for more information.>>> df=pd.read_csv('MyFile.csv' , usecols = ['AAA','BBB','CCC',]... pd.df.to_csv('NewFile.csv', index=False)?  File "<stdin>", line 2    pd.df.to_csv('NewFile.csv', index=False)?     ^SyntaxError: invalid syntax>>>

Answer 1

你有语法错误，因为你没有关闭终端下一行的括号

>>> df=pd.read_csv('MyFile.csv' , usecols = ['AAA','BBB','CCC',]

Answer 2

将 3GB 的文件读入内存不是一个好主意（这就是 pandas 会做的）。我建议使用流式传输工具，例如awk先过滤您的数据。

Answer 3

您是否尝试过类似的东西：

df.to_csv (r'C:\Users\Ron\Desktop\NewFile.csv', index = False)

替换C:\Users\Ron\Desktop\NewFile.csv为输出文件名。

Answer 4

我找到了这个解决方案。我找到了一个代码来删除我不想要的列。所以复制了 CSV 并做到了。这是我使用的 Py 文件：

import csv

input_file = 'input.csv'

output_file = 'output.csv'

cols_to_remove = [1, 4, 10, 11] # Column indexes to be removed (starts at 0)

cols_to_remove = sorted(cols_to_remove, reverse=True) # Reverse so we remove from              the end first

row_count = 0 # Current amount of rows processed

with open(input_file, "r") as source:

reader = csv.reader(source)

with open(output_file, "w", newline='') as result:

    writer = csv.writer(result)

    for row in reader:

        row_count += 1

        print('\r{0}'.format(row_count), end='') # Print rows processed

        for col_index in cols_to_remove:

            del row[col_index]

        writer.writerow(row)