关于启动Spark的worker部分,master地址是用户可配置的,修改./conf/spark-env.sh文件中,SPARK_MASTER_HOST 和SPARK_MASTER_PORT 变量即可
2021-04-26
➢ 快速且通用的集群计算平台
➢ spark是快速的
○ Spark扩充了流行的Mapreduce计算模型
○ Spark是基于内存的计算
➢ spark是通用的
○ 容纳了其他分布式系统拥有的功能:批处理、迭代式计算、交互查询和流处理,方便维护
○ 优点:降低了维护成本
➢ spark是高度开放的
○ Spark提供了Python,Java,Scala,SQL的API和丰富的内置库。
○ Spark和其他的大数据工具整合的很好,包括hadoop,kafka等。
➢ spark是快速的
○ Spark扩充了流行的Mapreduce计算模型
○ Spark是基于内存的计算
➢ spark是通用的
○ 容纳了其他分布式系统拥有的功能:批处理、迭代式计算、交互查询和流处理,方便维护
○ 优点:降低了维护成本
➢ spark是高度开放的
○ Spark提供了Python,Java,Scala,SQL的API和丰富的内置库。
○ Spark和其他的大数据工具整合的很好,包括hadoop,kafka等。
2020-05-18