-
zookeeper配置查看全部
-
Mapreduce的组成示例查看全部
-
处理过程示例图查看全部
-
Spout、Bolt、Stream、Tuple查看全部
-
mvn exec:java "-Dstorm.topology=storm.starter.WordCountTopology"查看全部
-
storm作业提交运行流程 1.用户编写storm Topolgy(wordCountTopology) 一个用户作业 2.使用client提交Topolgy给nimbus 3.nimbus提派Task给supervisor 4.supervisor为task启动worker 5.worker执行task -------------------------- storm采用主从结构，主Nimbus和多个从Supervisor,Nimbus只负责管理性的工作单点问题必须保证主节点是无状态的，重启就能恢复,相关元数据配置信息都是存储在zookeeper上。Supervisor主要听Nimbus的话管理启动和监控worker, worker是真正干活的进程负责数据传输和计算. ------------------------------- Storm 主从结构 Nimbus 主节点，只负责整体分配工作，不具体干活 Supervisor 从节点，维护每台机器，直接管理干活的Worker Worker 真正干活的（task）进程，数据计算和传输 DRPC Storm UI 监控WEB 运行流程 用户编写作业 使用客户端提交给Nimbus Nimbus指派Task给Supervisor Supervisor 为task启动Worker Worker 执行Task查看全部
-
Storm 主从结构 Nimbus 主节点，只负责整体分配工作，不具体干活 Supervisor 从节点，维护每台机器，直接管理干活的Worker Worker 真正干活的（task）进程，数据计算和传输 DRPC Storm UI 监控WEB 运行流程 用户编写作业 使用客户端提交给Nimbus Nimbus指派Task给Supervisor Supervisor 为task启动Worker Worker 执行Task查看全部
-
批量计算 流式计算 数据到达 计算开始前数据已准备好 计算进行中数据持续到来 计算周期 计算完成后会结束计算 一般会作为服务持续运行 使用场景 时效性要求低的场景 时效性要求高的场景查看全部
-
hadoop生态查看全部
-
google的三篇论文查看全部
-
1.分清流式计算(实效要求高的场景)与批量计算(实效要求不高的场景)各自的适用场景 2.知道流式计算中时效性和正确性的取舍 GFS,bigTable,Mapreduce只适合解决批量计算的场景,只能先收集数据收集得足够多之后,再进行Mapreduce处理，处理完后结束计算。 搜索引警恶意点击分析,需要实时知道点击是否是恶意点击.以减少损失. apache storm流式数据则是数据持续不断到来,一般做为一个服务持续不断运行. 流式计算与批量计算整合开源框架(summint bird(trite),cloud data flow(谷歌))查看全部
-
批量计算和流式计算查看全部
-
用户编写Storm Topolgy 使用Client提交Topology给Nimbus Nimbus指派Task给Supervisor Supervisor为Task启动Worker Worker执行Task查看全部
-
批量计算 流式计算 计算开始前数据已准备好 计算进行中数据持续到来 计算完成后结束计算 一般会作为服务持续运行 时效性要求低的场景 时效性要求高的场景查看全部
-
分布式：把一个任务拆解给多个计算机去执行，多个计算机执行同一个任务。查看全部
举报
0/150
提交
取消