为了账号安全,请及时绑定邮箱和手机立即绑定

使用复杂类型查询SparkSQLDataFrame

使用复杂类型查询SparkSQLDataFrame

qq_遁去的一_1 2019-06-17 17:29:14
使用复杂类型查询SparkSQLDataFrame如何使用映射/数组等复杂类型查询RDD?例如,当我编写这个测试代码时:case class Test(name: String, map: Map[String, String])val map = Map("hello" -> "world", "hey" -> "there")val map2 = Map("hello" ->  "people", "hey" -> "you")val rdd = sc.parallelize(Array(Test("first", map), Test("second", map2)))我想语法应该是这样的:sqlContext.sql("SELECT * FROM rdd WHERE map.hello = world")或sqlContext.sql("SELECT * FROM rdd WHERE map[hello] = world")但我得到了无法访问MapType类型中的嵌套字段(StringType,true)和org.apache.spark.sql.catalyst.errors.package$TreeNodeException:未解析属性分别。
查看完整描述

3 回答

  • 3 回答
  • 0 关注
  • 1438 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信