为了账号安全,请及时绑定邮箱和手机立即绑定

PySpark-将DF列合并为命名的StructType

PySpark-将DF列合并为命名的StructType

撒科打诨 2021-05-05 14:18:32
我想将PySpark数据框的多列合并到的一列中StructType。假设我有一个像这样的数据框:columns = ['id', 'dogs', 'cats']vals = [(1, 2, 0),(2, 0, 1)]df = sqlContext.createDataFrame(vals, columns)我希望得到的数据框类似于此(不是像它实际打印的那样,而是让您了解如果您还不熟悉StructType的意思):id | animals1  | dogs=2, cats=02  | dogs=0, cats=1现在,我可以完成以下任务:StructType(    [StructField('dogs', IntegerType(), True),    [StructField('cats', IntegerType(), True))udf但是,在我的代码末尾,我宁愿只使用一个函数来完成它。如果不存在,我会感到惊讶。
查看完整描述

1 回答

  • 1 回答
  • 0 关注
  • 181 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信