Spark Java 重新分区

Question

Java spark2这两个语句有什么区别-Dataset<Row> Data; Data.repartition(new Column("key" )) ; and Data.repartition(Data.col("key" ) ;

Answer 1

正在做

Data.repartition(new Column("key"));

相当于

import static org.apache.spark.sql.functions.col;
Data.repartition(col("key"));

在这些情况下，该列不直接与数据集相关联，Spark 需要在分析阶段解析它。

如果你改用

Data.repartition(Data.col("key");

您正在向 Spark 发出指令，该指令是该列所属的数据集。此方法主要用于连接，例如，您可以拥有两个具有公共列名的数据集。

在您的示例中，结果是等效的，您可以使用两种形式。