如果行匹配，则PySpark设置列值等于另一个数据框值

Question

嗨，我想检查spark数据框列值，并基于检查行名是否与另一个数据框行匹配来设置它。例子：df1:average name3.5      n11.2      n24.2      n3df2:name    n1     n1        n1    n2n3n1n2n3n3df_i_want:average name3.5      n13.5      n13.5      n11.2      n24.2      n33.5      n11.2      n24.2      n34.2      n3

Answer 1

您需要做的只是 Join

您可以实现如下所示的结果。

df2使用df1on连接数据框，name然后选择所需的列顺序

df3 = df2.join(df1, on = 'name').select('average', 'name')

上面的代码段应为您提供理想的结果