如何跳过Spark中CSV文件的标题？

Question

如何跳过Spark中CSV文件的标题？假设我给三个文件路径指向要读取的Spark上下文，并且每个文件在第一行中都有一个模式。我们如何从头文件中跳过架构线？val rdd=sc.textFile("file1,file2,file3")现在，我们如何跳过此rdd的标题行？

Answer 1

如果第一条记录中只有一个标题行，那么过滤它的最有效方法是：

rdd.mapPartitionsWithIndex {
  (idx, iter) => if (idx == 0) iter.drop(1) else iter 
}

如果当然有许多文件中包含许多标题行，这没有用。事实上，你可以通过这种方式结合三个RDD。

你也可以写一个filter只匹配一个可能是标题的行。这很简单，但效率较低。

Python等价物：

from itertools import islice

rdd.mapPartitionsWithIndex(
    lambda idx, it: islice(it, 1, None) if idx == 0 else it 
)

Answer 2

data = sc.textFile('path_to_data')header = data.first() #extract header
data = data.filter(row => row != header)   #filter out header