如何使用python pandas从数据框中删除重复的列

Question

通过将两列分组，我进行了一些更改。我使用python生成了一个文件，它导致了2个重复的列。如何从数据框中删除重复的列？

Answer 1

这里已经回答了python pandas删除重复的列。想法是df.columns.duplicated()生成布尔向量，其中每个值表示是否已查看过该列。例如，如果df具有列["Col1", "Col2", "Col1"]，则生成[False, False, True]。让我们对其进行倒置并将其称为column_selector。

使用上述向量及其使用的loc方法df有助于选择行和列，我们可以删除重复的列。有了df.loc[:, column_selector]我们就可以选择列。

column_selector = ~df.columns().duplicated()

df = df.loc[:, column_selector]

Answer 2

这是到目前为止我发现的最好的。

remove = []

cols = df.columns

for i in range(len(cols)-1):

    v = df[cols[i]].values

    for j in range(i+1,len(cols)):

        if np.array_equal(v,df[cols[j]].values):

            remove.append(cols[j])

df.drop(remove, axis=1, inplace=True)