-
spark开发环境搭建
scala安装：
默认安装选项会自动配置环境变量。
注意spark和scala的版本匹配问题
查看全部 -
课程小结
sprak下载、安装
spark shell操作
查看全部 -
spark安装
如何修改日志级别【找到log4j.properties,如果不是，则应该拷贝log4j.properties.temp。。。文件，命名为log4j.properties，之后再修改日志级别即可。】
log4j.rootCategory=WARN,console
查看全部 -
spark 安装
例子：
如何加载文件并对文件进行相关的操作。
查看全部 -
spark 安装
scala shell：
bin/spark-shell
查看全部 -
spark安装
python shell：
bin/pyspark
查看全部 -
spark安装
spark的shell，
处理分布在集群上的数据。
spark把数据加载到节点的内存中，因此分布式处理可在秒级完成。
快速使迭代式计算、实时查询、分析一般能够在shells中完成。
提供python shells和Scala shells。
查看全部 -
spark安装
spark目录介绍
查看全部 -
spark的安装，
spark下载：http://spark.apache.org/downloads.html
搭建spark不需要Hadoop，如有Hadoop集群，可下载相应的Hadoop对应的spark安装即可。
查看全部 -
spark的安装【必须手动安装，原来scala写的spark是运行在jvm上的。】
查看全部 -
spark和Hadoop的比较，各善其职即可。
spark不具有hdfs的存储能力，要借助hdfs等持久化数据。
查看全部 -
spark应用场景
基于内存处理，时效性要求很高，处理时间在几秒钟到几分钟不等。
查看全部 -
Hadoop应用场景
中间处理结果会存在硬盘上，处理时间在几分钟到几小时不等。
查看全部 -
spark的课程小结
spark历史
spark组件
spark应用场景
查看全部 -
spark的组件
组件的优点，机密集成的优点，紧密集成，节省了各个组件组合使用时的部署，测试等时间。
向spark增加新的组件时，其他组件，可立刻想用新组件的功能。
查看全部
举报