为了账号安全,请及时绑定邮箱和手机立即绑定

Spark Java API:如何将JavaRDD转换为RDD类型

Spark Java API:如何将JavaRDD转换为RDD类型

倚天杖 2021-05-05 17:28:20
我正在尝试将使用编写的代码转换Dataframe为DataSetAPI。问题是我将JavaRDD创建为:final JavaRDD<String> abcJavaRdd= jsc.textFile("/path/to/textfile");但是createDatasetsqlContext类的方法期望RDD<T>类型而不是JavaRDD<T>类型。SQLContext sqlc = new SQLContext(jsc);........Encoder<Abc> abcEncoder= Encoders.bean(Abc.class);Dataset<Abc> abcDataset= sqlc.createDataset(abcJavaRdd, abcEncoder);上面的代码中的最后一行无效。我想知道如何org.apache.spark.rdd.RDD从' org.apache.spark.api.java.JavaRDD'类型创建' '类型吗?我在Mapr群集上将Java 1.8与apache spark 1.6.1一起使用。
查看完整描述

1 回答

  • 1 回答
  • 0 关注
  • 174 浏览

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信