错误 SparkContext：初始化 SparkContext 时出错。

Question

所以我是新来的火花。我的版本是：Spark 2.1.2，Scala 版本 2.11.8（Java HotSpot(TM) 64 位服务器 VM，Java 1.8.0_131）。我在 Windows 10 (x64) 上使用 IntellijIdea 2018 社区。每当我尝试运行一个简单的字数统计示例时，我都会收到以下错误：18/10/22 01:43:14 错误 SparkContext：初始化 SparkContext 时出错。java.lang.IllegalArgumentException：系统内存 259522560 必须至少为 471859200。请使用 --driver-memory 选项或 Spark 配置中的 spark.driver.memory 增加堆大小。在 org.apache.spark.memory.UnifiedMemoryManager$.getMaxMemory(UnifiedMemoryManager.scala:216) 在 org.apache.spark.memory.UnifiedMemoryManager$.apply(UnifiedMemoryManager.scala:198) 在 org.apache.spark.SparkEnv$。 create(SparkEnv.scala:330) at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:174) at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:257) at org.apache.spark。 SparkContext.(SparkContext.scala:432) 在 WordCount$.main(WordCount.scala:5) 在 WordCount.main(WordCount.scala)PS：以wordcounter的代码为例：import org.apache.spark.{SparkConf,SparkContext}object WordCount {def main(args: Array[String]) {val conf = new SparkConf().setAppName("mySpark").setMaster("local")val sc = new SparkContext(conf)val rdd = sc.textFile(args(0))val wordcount = rdd.flatMap(_.split("\t") ).map((_, 1))  .reduceByKey(_ + _)for (arg <- wordcount.collect())  print(arg + " ")println()//    wordcount.saveAsTextFile(args(1))//    wordcount.saveAsTextFile("myFile")sc.stop()}}所以我的问题是如何摆脱这个错误。我已经搜索了解决方案并尝试安装不同版本的 Spark、JDK 和 Hadoop，但没有帮助。我不知道可能是哪里出了问题。

Answer 1

如果您在 IntelliJ 中，您可能会遇到很多困难，我所做的并且有效的是我在 SparkSession 之前通过执行初始化了 SparkContext

1. val conf:SparkConf = new SparkConf().setAppName("name").setMaster("local") .set("spark.testing.memory", "2147480000")

2. val sc:SparkContext = new SparkContext(conf)

可能有更好的解决方案，因为在这里我实际上不需要初始化 SparkContext，因为它是通过初始化 SparkSession 隐式完成的。

Answer 2

转到设置 - 运行/调试配置 -> 并为 VM 选项放置

-Xms128m -Xms512m -XX:MaxPermSize=300m -ea