本文基于Spark2.1.0版本
今天整理累加器的知识点时，发现实例化一个Accumulator对象，编译无法通过：
Spark 2.x版本使用Accumulator类时编译出错，提示类过时
查了一下Spark2.x的API，发现对Accumulator类的定义发生了变化：
2.0版本前的累加器的类定义
2.x版本的累加器类定义
新的累加器创建的方法如下：
可以看出，新版的累加器有了如下的改良：
1，不用传初始化值参数，默认是从0开始；
2，创建累加器时，可以指定累加器的名字，这样在Driver 4040 Web UI的Task显示时，可以看到该名字的累加器在各Task中的实际的值（如果不指定累加器名字，则不会在Web UI上显示）-- 这点我说的不准确，旧的累加器类也有这个功能，只不过我一直没用过，惭愧。。。
3，新增了reset方法，可以重置该累加器归零（还有几个新的方法，不一一举例）
So，按照API的指示，修改如下：
编译通过，功能正常
在Driver 的4040 Web UI上观察，发现Task table增加了 Accumulators 列，能看到每个Task上的叫做ErrorCnt 的累加器的值（可以同时定义多个累加器）
迭代器使用起来很简单，很方便，但在使用过程中一定要注意（新手容易忽略）：
因为Spark 相同的Task有可能被重复执行多次（容错性导致），所以累加器的值很有可能被累加多次，那么得到的结果就不准确了，所以一般把累加器放在行动操作中来使用，只有这样，Spark才会把每个任务对各累加器的修改应用一次。
下面举一个foreach的行动操作的例子：
官网说明
java代码如下：
作者：俺是亮哥
链接：https://www.jianshu.com/p/9d6111fc6303
共同学习，写下你的评论
评论加载中...
作者其他优质文章
