Spark创建空的DataFrame

原创地址：https://dongkelun.com/2018/08/14/sparkEmptyDataFrame/

前言

本文主要给出Spark创建空的DataFrame的代码示例，这里讲的空的DataFrame主要指有列名（可以自己随意指定），但是没有行的DataFrame，因为自己在开发过程中有这个需求，之前并不知道怎么创建，就查了一下，发现资料并不多，不知道因为太简单还是用的人少_{，至于具体什么需求就不阐述了，主要给有这方面需求的小伙伴参考一下。还有另一种空的DataFrame就是没有任何行任何列的DataFrame，不知道有什么用，反正贴在代码里，万一有人用呢}

1、代码

代码较简单，如下

package com.dkl.leanring.spark.dfimport org.apache.spark.sql.SparkSessionimport org.apache.spark.sql.types._import org.apache.spark.sql.Rowimport org.apache.spark.rdd.EmptyRDD/**
 * Spark创建空DataFrame示例
 */object EmptyDataFrame {  def main(args: Array[String]): Unit = {    val spark = SparkSession.builder().appName("EmptyDataFrame").master("local").getOrCreate()    /**
     * 创建一个空的DataFrame，代表用户
     * 有四列，分别代表ID、名字、年龄、生日
     */
    val colNames = Array("id", "name", "age", "birth")    //为了简单起见，字段类型都为String
    val schema = StructType(colNames.map(fieldName => StructField(fieldName, StringType, true)))    //主要是利用了spark.sparkContext.emptyRDD
    val emptyDf = spark.createDataFrame(spark.sparkContext.emptyRDD[Row], schema)

    emptyDf.show    /**
     * 也可以给每列指定相对应的类型
     */
    val schema1 = StructType(      Seq(        StructField("id", IntegerType, true),        StructField("name", StringType, true),        StructField("age", IntegerType, true),        StructField("birth", StringType, true)))    val emptyDf1 = spark.createDataFrame(spark.sparkContext.emptyRDD[Row], schema1)
    emptyDf1.show    //还有一种空的DataFrame，没有任何行任何列
    spark.emptyDataFrame.show

    spark.stop()
  }

}

2、结果

作者：董可伦
链接：https://www.jianshu.com/p/85d9434f1e40