如何在java中使用spark Dataframe读取没有列名的文本文件

Question

我正在使用Spark DataFrame读取一个文本文件，每一行由一个空格分隔，如下所示（路径：）d:/data/kmeans_data.txt：0.0 0.0 0.00.1 0.1 0.10.2 0.2 0.29.0 9.0 9.09.1 9.1 9.19.2 9.2 9.2我尝试使用DataFrame读取此文本文件：Dataset<Row> dataset = spark.read().text("file:/d:/data/kmeans_data.txt");但是，它调用了一个IllegalArgumentException：线程“main”中的异常 java.lang.IllegalArgumentException：字段“features”不存在。可用字段：org.apache.spark.sql.types.StructType$$anonfun$apply$1.apply(StructType.scala:267) 处的值，位于 org.apache.spark.sql.types.StructType$$anonfun$apply$1。 apply(StructType.scala:267) at scala.collection.MapLike$class.getOrElse(MapLike.scala:128) at scala.collection.AbstractMap.getOrElse(Map.scala:59) at org.apache.spark.sql.types .StructType.apply(StructType.scala:266) at org.apache.spark.ml.util.SchemaUtils$.checkColumnType(SchemaUtils.scala:40) at org.apache.spark.ml.clustering.KMeansParams$class.validateAndTransformSchema( KMeans.scala:93) 在 org.apache.spark.ml.clustering.KMeans.validateAndTransformSchema(KMeans.scala:254) 在 org.apache.spark.ml.clustering.KMeans。如何DataFrame在java中使用spark读取文本文件？如果没有列名和标签列，是否应该创建一个？