spark mappartitions和map哪个效率高?

Question

spark mappartitions和map哪个效率高

Answer 1

map是对rdd中的每一个元素进行操作，mapPartitions则是对rdd中的每个分区的迭代器进行操作。如果在map过程中需要频繁创建额外的对象,则mapPartitions效率比map高。