有没有办法在熊猫的两列中找到重复数据删除？

Question

两列 pandas 中的重复数据删除。pandas 中的数据可能放错了位置，有些是空值。Person    Name1        Name2  0          Jet         NaN 1          Edward      Lach  2          NaN         Jet3          Lach        Edward为 Name1 和 Name2 生成列表并查看它们是否存在。有没有更好的方法来做到这一点？set1,set2 = list(df["Name1"]),list(df["Name2"])ExpectedPerson    SurName    FirstName  0          Jet         NaN  1          Edward      Lach

Answer 1

使用numpy.sortwith 替换缺失值DataFrame.fillna，为可能的调用创建 DataFrame 构造函数，DataFrame.duplicated并boolean indexing使用反向掩码 by过滤~：

mask = (pd.DataFrame(np.sort(df[['Name1','Name2']].fillna('missing'), axis=1), index=df.index)

          .duplicated())

df = df[~mask]

print (df)

   Person   Name1 Name2

0       0     Jet   NaN

1       1  Edward  Lach