如何以编程方式检测Databricks环境

Question

我正在写一个火花作业，它需要在本地以及在Databricks上都可以运行。在每个环境（文件路径）中，代码必须略有不同，因此我试图找到一种方法来检测作业是否在Databricks中运行。到目前为止，我发现的最好方法是在根目录中查找“ dbfs”目录，如果存在，则假定它在Databricks上运行。这感觉不像是正确的解决方案。有谁有更好的主意吗？

Answer 1

您可以简单地检查是否存在环境变量，例如：

def isRunningInDatabricks(): Boolean = 
  sys.env.contains("DATABRICKS_RUNTIME_VERSION")

Answer 2

这个怎么样：

Python：

def isLocal():

    setting = spark.conf.get("spark.master")

    return ("local" in setting)

Scala：

def isLocal(): Boolean = {

    val setting = spark.conf.get("spark.master")

    return ("local" contains setting)

}