在 PySpark 中，如何根据另一个 DataFrame 中的查找来填充新列？

Question

Spark 和 PySpark 的新手，我试图通过在另一个 DataFrame 中查找信息来在 DataFrame 中添加一个字段/列。在过去的几个小时里，我一直在尝试阅读 RDD、DataFrame、DataSet、map、join 等，但这些概念对我来说仍然是新的，我仍然很难完全理解它们。例如，给定以下带有 ID 和角色的输入 DataFrame：+----+-------------+| ID | Role        |+----+-------------+|  1 | Author      ||  1 | Editor      ||  2 | Author      ||  2 | Publisher   ||  3 | Editor      ||  3 | Assistant   |+----+-------------+另一个输入 DataFrame 具有唯一的 ID 和名称映射：+----+-------------+| ID | Name        |+----+-------------+|  1 | John Smith  ||  2 | John Doe    ||  3 | Bob Jim Bob |+----+-------------+我需要以某种方式将此数据合并到单个输出 DataFrame 中，并添加 Name 列，如下所示：+----+-------------+-------------+| ID | Name        | Role        |+----+-------------+-------------+|  1 | John Smith  | Author      ||  1 | John Smith  | Editor      ||  2 | John Doe    | Author      ||  2 | John Doe    | Publisher   ||  3 | Bob Jim Bob | Editor      ||  3 | Bob Jim Bob | Assistant   |+----+-------------+-------------+两个输入表的实际数据量约为 200k+ 行。我最初的想法是在 ID + Role 表中添加一个新的 Name 列，然后遍历每一行并手动从 ID + Name 表中查找 Name 但这真的很慢，我肯定无法利用火花。再说一次，对这一切仍然很陌生，所以如果这是一个非常明显的问题，请原谅我。

Answer 1

您可以在 pySpark 中合并两个 dataframeS，如下所示：

>>> df1.show()

+---+---------+

| ID|     Role|

+---+---------+

|  1|   Author|

|  1|   Editor|

|  2|   Author|

|  2|Publisher|

|  3|   Editor|

|  3|Assistant|

+---+---------+

>>> df2.show()

+---+-----------+

| ID|       Name|

+---+-----------+

|  1| John Smith|

|  2|   John Doe|

|  3|Bob Jim Bob|

+---+-----------+

>>> df3 = df2.join(df1,"ID")

>>> df3.show()

+---+-----------+---------+

| ID|       Name|     Role|

+---+-----------+---------+

|  1| John Smith|   Author|

|  1| John Smith|   Editor|

|  2|   John Doe|   Author|

|  2|   John Doe|Publisher|

|  3|Bob Jim Bob|   Editor|

|  3|Bob Jim Bob|Assistant|

+---+-----------+---------+

注意：我假设"ID"为外键，如有任何疑问，请发表评论。