从单个 pyspark 数据帧返回多个列

Question

我正在尝试解析单个单列的pyspark数据帧，并获得具有多列的数据帧。我的数据帧如下所示：   a  b               dic0  1  2  {'d': 1, 'e': 2}1  3  4  {'d': 7, 'e': 0}2  5  6  {'d': 5, 'e': 4}我想解析dic列并获取数据帧，如下所示。如果可能的话，我期待使用熊猫UDF。我的预期输出如下：   a  b  c  d0  1  2  1  21  3  4  7  02  5  6  5  4这是我尝试解决：schema = StructType([    StructField("c", IntegerType()),    StructField("d", IntegerType())])@pandas_udf(schema,PandasUDFType.GROUPED_MAP)def do_someting(dic_col):    return (pd.DataFrame(dic_col))df.apply(add_json).show(10)但这给出了错误“DataFrame”对象没有属性“apply”

Answer 1

您可以通过将简单引号替换为双引号来首先转换为 JSON 字符串，然后使用 from_json将其转换为结构列或映射列。

如果您知道该词典的模式，则可以按如下方式操作：

data = [

    (1,   2,  "{'c': 1, 'd': 2}"),

    (3,   4,  "{'c': 7, 'd': 0}"),

    (5,   6,  "{'c': 5, 'd': 4}")

]

df = spark.createDataFrame(data, ["a", "b", "dic"])

schema = StructType([

    StructField("c", StringType(), True),

    StructField("d", StringType(), True)

])

df = df.withColumn("dic", from_json(regexp_replace(col("dic"), "'", "\""), schema))

df.select("a", "b", "dic.*").show(truncate=False)

#+---+---+---+---+

#|a  |b  |c  |d  |

#+---+---+---+---+

#|1  |2  |1  |2  |

#|3  |4  |7  |0  |

#|5  |6  |5  |4  |

#+---+---+---+---+

如果您不知道所有键，则可以将其转换为映射而不是结构，然后将其分解并透视以获取列形式的键：

df = df.withColumn("dic", from_json(regexp_replace(col("dic"), "'", "\""), MapType(StringType(), StringType())))\

       .select("a", "b", explode("dic"))\

       .groupBy("a", "b")\

       .pivot("key")\

       .agg(first("value"))

Answer 2

尝试：

#to convert pyspark df into pandas:

df=df.toPandas()

df["d"]=df["dic"].str.get("d")

df["e"]=df["dic"].str.get("e")

df=df.drop(columns=["dic"])

返回：

   a  b  d  e

0  1  2  1  2

1  3  4  7  0

2  5  6  5  4