spark的核心是spark core,spark streaming，spark graph,spark mlib 其实是构建在spark core之上的一个应用程序，如果要构建一个强大的spark应用程序 ，spark streaming 是一个值得借鉴的参考，spark streaming涉及多个job交叉配合，里面涉及到了spark的所有的核心组件，如果对spark streaming 精通了的话，可以说就精通了整个spark,所以精通掌握spark streaming是至关重要的。
spark另类实现。在试验中。通过调节放大Batch Interval的方式300s，观察数据流入流出。代码如下：
object OnlineBlackListFilter {
def main(args: Array[String]){
/**
* 第1步：创建Spark的配置对象SparkConf，设置Spark程序的运行时的配置信息，
* 例如说通过setMaster来设置程序要链接的Spark集群的Master的URL,如果设置
* 为local，则代表Spark程序在本地运行，特别适合于机器配置条件非常差（例如
* 只有1G的内存）的初学者
*/
val conf = new SparkConf() //创建SparkConf对象
conf.setAppName("OnlineBlackListFilter") //设置应用程序的名称，在程序运行的监控界面可以看到名称
conf.setMaster("spark://Master:7077") //此时，程序在Spark集群
val ssc = new StreamingContext(conf, Seconds(300))
/**
* 黑名单数据准备，实际上黑名单一般都是动态的，例如在Redis或者数据库中，黑名单的生成往往有复杂的业务
* 逻辑，具体情况算法不同，但是在Spark Streaming进行处理的时候每次都能工访问完整的信息
*/
val blackList = Array(("hadoop", true),("mahout", true))
val blackListRDD = ssc.sparkContext.parallelize(blackList, 8)
val adsClickStream = ssc.socketTextStream("Master", 9999)
/**
* 此处模拟的广告点击的每条数据的格式为：time、name
* 此处map操作的结果是name、（time，name）的格式
*/
val adsClickStreamFormatted = adsClickStream.map { ads => (ads.split(" ")(1), ads) }
adsClickStreamFormatted.transform(userClickRDD => {
//通过leftOuterJoin操作既保留了左侧用户广告点击内容的RDD的所有内容，又获得了相应点击内容是否在黑名单中
val joinedBlackListRDD = userClickRDD.leftOuterJoin(blackListRDD)
/**
* 进行filter过滤的时候，其输入元素是一个Tuple：（name,((time,name), boolean)）
* 其中第一个元素是黑名单的名称，第二元素的第二个元素是进行leftOuterJoin的时候是否存在在值
* 如果存在的话，表面当前广告点击是黑名单，需要过滤掉，否则的话则是有效点击内容；
*/
val validClicked = joinedBlackListRDD.filter(joinedItem => {
if(joinedItem._2._2.getOrElse(false))
{
false
} else {
true
}
})
validClicked.map(validClick => {validClick._2._1})
/**
* 计算后的有效数据一般都会写入Kafka中，下游的计费系统会从kafka中pull到有效数据进行计费
*/
ssc.start()
ssc.awaitTermination()
}
}
启动集群：
在浏览器中查看（运行了一个job）
点击进去可以查看到5个Job
实际执行就一个Job，
点击start at OnlineBlackListFilter.scala 进去，看一下这个Job中的DAG可视化视图：
可以发现DAG视图显示与代码设计不一样。Spark Streaming会自动起一些job。
spark streaming本身是随着流进来数据，按照时间为单位，生成Job，然后触发Job，在classter执行的一个流式处理的引擎，它本身实质上讲加时间维度上的批处理，基础一批数据它会生产所谓RDD，基于这个RDD就会触发Job，至于RDD的生成，Job生成以及Job触发都是spark streaming框架做的。
spark streaming有个至关重要的东西就是DStream。因为我们每隔一个时间间隔都会产一个RDD，会产生这个RDD操作的依赖，会触发Job，会具体执行。由于它这个每隔时间，那么我们时间是一直持续的，所以它就弄了一个DStream。DStream就是不断有RDD产生，你也可以认为DStream是一个集合，这个集合是一个没有边界的集合，他不会有大小的限制。如果他有限制那就是时空。时间维度就是DStream不断产生RDD，就是RDD集合。空间维度就是DStream处理层面。我们对DStream的处理就是作用在具体RDD上，就是时空代表。时间固定，锁定空间的操作，空间就是trunsform。
DStream Graph实例化一下，加上时间维度，他就是实例化了，产生RDD Graph。（B代表的ＲＤＤ）
备注：
资料来源于：DT_大数据梦工厂（Spark发行版本定制）
作者：阳光男孩spark
链接：https://www.jianshu.com/p/8051dfc889ad
共同学习，写下你的评论
评论加载中...
作者其他优质文章
