自动化比较数据帧的多列并将数据存储到新列的过程

Question

我有一个作为数据框导入的 excel 文件。数据集如下所示：rule_id  reqid1 reqid2  reqid3  reqid453139     0      0       1       051181     1      1       1       050412     0      1       1       050356     0      0       1       050239     0      1       0       150238     1      1       1       050014     1      0       1       1我必须相互比较 reqid 列。这是代码：c1 = list(map(lambda a,b: a if a == b else 100*a , df.reqid1 , df.reqid2))df['comp1'] = c1c2 = list(map(lambda b,c: b if b == c else 100*b , df.reqid2 , df.reqid3))df['comp2'] = c2c3 = list(map(lambda c,d: c if c == d else 100*c , df.reqid3 , df.reqid4))df['comp3'] = c3comps = ['comp1' , 'comp2' , 'comp3']df[comps] = df[comps].replace({0: np.nan})基本上这段代码的作用是将 reqid1 与 reqid2 、 reqid2 与 reqid3 等进行比较。如果两列的值都为 0，则应在新创建的列中更新 0，如果两列的值都为 1，则应在新创建的列中更新 1。如果第一列有 0 并且下一列有 1 那么 ， NaN 应该更新，如果第一列有 1 并且第二列有 0 ，那么 100 应该更新。我正在为最后一列使用另一个函数。基本上它的作用是如果最后一列（在本例中为 reqid4）的值为 1 ，则应在新列中更新 100 ，如果值为 0 ，则应更新 0 。这是代码：def fun(df , col2):    df['last_comp'] = np.where((df.loc[: , col2] == 1) , 100 , 0)    return df这是我得到的结果：rule_id  reqid1 reqid2  reqid3  reqid4 comp1  comp2    comp3  last_comp53139      0     0        1      0      NaN    NaN     100.0     051181      1     1        1      0      1.0    1.0     100.0     050412      0     1        1      0      NaN    1.0     100.0     050356      0     0        1      0      NaN    NaN     100.0     050239      0     1        0      1      NaN    100.0    NaN     100.050238      1     1        1      0      1.0    1.0     100.0     050014      1     0        1      1     100.0   NaN      1.0     100.0这段代码对我有用，但我有大数据集，这只是数据的一部分。我有 100 多列，每次都编写此代码对我来说是不可行的。我想自动化将一列与另一列进行比较的过程，但我不知道如何进行。如果你能帮助我，那就太好了。

Answer 1

首先将shifted DataFrame 与进行比较DataFrame.eq，然后使用numpy.select2 个布尔掩码设置值，调用DataFrame构造函数并最后join到原始值：

m = df.eq(df.shift(-1, axis=1))

arr = np.select([df ==0, m], [np.nan, df], df*100)

#python 3.6+ for rename columns

df2 = pd.DataFrame(arr, index=df.index).rename(columns=lambda x: f'comp{x+1}')

#python bellow

#df2 = pd.DataFrame(arr, index=df.index).rename(columns=lambda x: 'comp{}'.format(x+1))

df3 = df.join(df2).reset_index()

print (df3)

   rule_id  reqid1  reqid2  reqid3  reqid4  comp1  comp2  comp3  comp4

0    53139       0       0       1       0    NaN    NaN  100.0    NaN

1    51181       1       1       1       0    1.0    1.0  100.0    NaN

2    50412       0       1       1       0    NaN    1.0  100.0    NaN

3    50356       0       0       1       0    NaN    NaN  100.0    NaN

4    50239       0       1       0       1    NaN  100.0    NaN  100.0

5    50238       1       1       1       0    1.0    1.0  100.0    NaN

6    50014       1       0       1       1  100.0    NaN    1.0  100.0