-
storm作业提交运行流程 1.用户编写storm Topolgy(wordCountTopology) 一个用户作业 2.使用client提交Topolgy给nimbus 3.nimbus提派Task给supervisor 4.supervisor为task启动worker 5.worker执行task -------------------------- storm采用主从结构，主Nimbus和多个从Supervisor,Nimbus只负责管理性的工作单点问题必须保证主节点是无状态的，重启就能恢复,相关元数据配置信息都是存储在zookeeper上。Supervisor主要听Nimbus的话管理启动和监控worker, worker是真正干活的进程负责数据传输和计算. ------------------------------- Storm 主从结构 Nimbus 主节点，只负责整体分配工作，不具体干活 Supervisor 从节点，维护每台机器，直接管理干活的Worker Worker 真正干活的（task）进程，数据计算和传输 DRPC Storm UI 监控WEB 运行流程 用户编写作业 使用客户端提交给Nimbus Nimbus指派Task给Supervisor Supervisor 为task启动Worker Worker 执行Task查看全部
-
批量计算与流式计算的不同点查看全部
-
Google发明的几篇论文解决了各个公司升级服务器的弊端， 分布式框架三篇论文; google file system bigTable MapReduce 流式计算和批量计算： 目前有些人希望通过同一API解决批量计算和流式计算： Summer bird Clouddataflow （ps:此API开源）查看全部
-
Hadoop查看全部
-
三篇论文查看全部
-
1.分清流式计算(实效要求高的场景)与批量计算(实效要求不高的场景)各自的适用场景 2.知道流式计算中时效性和正确性的取舍 GFS,bigTable,Mapreduce只适合解决批量计算的场景,只能先收集数据收集得足够多之后,再进行Mapreduce处理，处理完后结束计算。 搜索引警恶意点击分析,需要实时知道点击是否是恶意点击.以减少损失. apache storm流式数据则是数据持续不断到来,一般做为一个服务持续不断运行. 流式计算与批量计算整合开源框架(summint bird(trite),cloud data flow(谷歌))查看全部
-
hadoop不能解决流式计算，产生storm查看全部
-
敏敏共鸣倪敏查看全部
-
批量计算与流式计算的区别查看全部
-
Spout、Bolt、Stream、Tuple查看全部
-
Map-Reduce计算Words2查看全部
-
Map-Reduce计算Words查看全部
-
kill查看全部
-
storm启动ui查看全部
-
集群配置查看全部
举报
0/150
提交
取消