Pyspark - 将列转换为列表

Question

火花3.0我运行了一个代码df.select("Name").collect()，并在下面收到了这个输出。我想将结果放在下面的列表中。我尝试将 [0] 添加到末尾，但这没有用。Row(Name='Andy')Row(Name='Brandon')Row(Name='Carl')expected outcome = ['Andy','Brandon','Carl']

Answer 1

你可以使用 rdd。

df.select('Name').rdd.map(lambda x: x[0]).collect()

['Andy', 'Brandon', 'Carl']

Answer 2

使用collect_list然后通过访问索引仅获取列表并分配给变量。

Example:

df.show()

#+-------+

#|   Name|

#+-------+

#|   Andy|

#|Brandon|

#|   Carl|

#+-------+

output=df.agg(collect_list(col("name"))).collect()[0][0]

output

#['Andy', 'Brandon', 'Carl']

另一种方法是使用列表理解：

ss=df.select("Name").collect()

output=[i[0] for i in ss]

output

#['Andy', 'Brandon', 'Carl']