从正在读入的文本文件中删除或移除标题

Question

我正在尝试删除或删除我正在使用 Pandas 读取的数据的标题。一个文件有一个标题，另一个没有，但我希望能够检查标题然后将其删除。到目前为止，我已经尝试在 read_csv 函数中使用 header=Nonefrom pathlib import Pathimport pandas as pddef _reader(fname):    return pd.read_csv(fname, sep="\t", header=None)folder = Path("C:\\Me\\Project1")data = pd.concat([    _reader(txt)    for txt in folder.glob("*.txt")])我收到以下错误：TypeError: must be str, not int我的两个文件如下所示：文件1.txtISIN    AVL_QTYBAD 90000AAB 8550000BAD 173688BAD 360000BAD 90000BAD 810000BAD 900000BAD 900000文件2.txtTEST  543HELLO 555STOCK 900CODE  785

Answer 1

首先，您需要检查第一行是否是标题。例如，您可以检查第一行的任何条目是否以数字开头，因为这对于列标题来说不是典型的。事实上，在不知道您的数千个文件的情况下，正确的标头检测方法只是猜测 - 但这并不是您代码中的真正重点。

要使用标头检测，您应该使用普通循环而不是列表解析，以便您可以在每次迭代中： 1. 检查标头 2. 读取文件并将数据附加到数据帧：

df = pd.DataFrame()

for f in folder.glob("*.txt"):

    with open(f) as fin:

        chk_lst = next(fin).split()

    is_h = not any(v[0].isdecimal() for v in chk_lst)

    df = pd.concat([df, pd.read_csv(f, sep='\s+', header=(None, 0)[is_h])], axis=1)

# ISIN  AVL_QTY      0        1

# 0  BAD    90000   TEST  543.775                             

# 1  AAB  8550000  HELLO  555.000                           

# 2  BAD   173688  STOCK  900.000                         

# 3  BAD   360000   CODE  785.000                         

# 4  BAD    90000    NaN      NaN                        

# 5  BAD   810000    NaN      NaN                         

# 6  BAD   900000    NaN      NaN                         

# 7  BAD   900000    NaN      NaN                

编辑：

为了明智地连接行，您可以使用

    df = pd.concat([df, pd.read_csv(f, sep='\s+', header=None, skiprows=(0, 1)[is_h])], axis=0, ignore_index=True)

#        0        1

# 0    BAD    90000                                     

# 1    AAB  8550000                                      

# 2    BAD   173688                                         

# 3    BAD   360000                                      

# 4    BAD    90000                                        

# 5    BAD   810000                                        

# 6    BAD   900000                                    

# 7    BAD   900000                                    

# 8   TEST      543                                       

# 9  HELLO      555                                      

# 10 STOCK      900                                       

# 11  CODE      785                   

Answer 2

File2.txt没有标题，对吧？但在_reader你设置header为None. 将标题添加到 File2.txt，看看会发生什么。

Answer 3

有几种方法可以检查 csv 文件是否有标题

使用 csv 库

import csv

with open('example.csv', 'rb') as csvfile:

    sniffer = csv.Sniffer()

    has_header = sniffer.has_header(csvfile.read(2048))

    csvfile.seek(0)

    # ...

或者如果你知道你的数据，检查第一行是否有任何数字

is_header = not any(cell.isdigit() for cell in csv_table[0])

或使用熊猫本身，如果您知道标题可能会被称为什么

df = (pd.read_csv(filename, header=None, names=cols)

      [lambda x: np.ones(len(x)).astype(bool)

                 if (x.iloc[0] != cols).all()

                 else np.concatenate([[False], np.ones(len(x)-1).astype(bool)])]

    )

当然，如果你想先用命令行预处理文件，它可能会更快......