在 pyspark 中将日期转换为所需的格式

Question

我有如下数据框并使用 pyspark 2.4Name    dojkevin   08/15/2013George  06/21/2014df.printSchema() -- Name (String) -- dob (String)我想将 doj 转换为 YYYY-MM-DD 格式，并确保我需要使用 pyspark 将 doj 转换为 Datetype 而不是 String。有没有可用的特定函数？感谢您的回复

Answer 1

使用to_date()功能。

df.show()

#+------+----------+

#|  Name|       doj|

#+------+----------+

#| Kevin|08/15/2013|

#|George|06/21/2014|

#+------+----------+

from pyspark.sql.functions import *

df.withColumn("doj",to_date(col("doj"),'MM/dd/yyyy')).show()

#+------+----------+

#|  Name|       doj|

#+------+----------+

#| Kevin|2013-08-15|

#|George|2014-06-21|

#+------+----------+

df.withColumn("doj",to_date(col("doj"),'MM/dd/yyyy')).printSchema()

#root

# |-- Name: string (nullable = true)

# |-- doj: date (nullable = true)

Answer 2

def dateconv(x):

        if x == None:

            x = 'null'

            return x

        else:

            return x.strftime('%Y-%M-%D')

dateconv(doj)

python 中有类似的东西，我这样做了