与 Spark 集成的最佳方式

Question

我正在运行 Cassandra，并且正在使用 gocql 驱动程序连接到 Cassandra。效果很好。我正在考虑使用 Apache Spark 来分析数据。我应该用 Scala 或 Java 编写一个 Spark 应用程序，然后将应用程序公开（以某种方式） - 或者你会怎么做？我不知道有任何 go Spark 驱动程序。欢迎任何指示和信息。问候

Answer 1

在 Spark 上运行使用非 JVM 语言（例如 Go）编写的应用程序需要 Spark 本身的支持。生成的应用程序很可能会变慢，并且无法访问所有 Spark 功能。

要了解运行 python Spark 应用程序需要什么，您可以阅读https://cwiki.apache.org/confluence/display/SPARK/PySpark+Internals

Answer 2

我认为使用 Scala 处理 Cassandra 数据的最佳工具是spark-cassandra-connector。

它是如此简单和强大。