数据帧值与 pyspark 中的数字比较

Question

我有一个只有一个值的数据框，我想将它与数值进行比较并根据它引发错误。是这样的：df=spark.sql("""select count(1) as count_check from schema.table) """)df.select("count_check").show()if df.value == 0:    print("ALL GOOD")else:    raise Exception("ATAR DATA MISMATCH, RESULT COUNT IS NOT ZERO!")我可以使用 show() 打印它，但无法正确比较，因为一个是数据帧，另一个是整数。请指教。

Answer 1

您需要收集要在 python 上下文中使用的 Dataframe 列值

df = spark.sql('select count(1) as count_check from schema.table')

value = df.collect()[0][0]

if value == 0:

    print("ALL GOOD")

else:

    raise Exception("ATAR DATA MISMATCH, RESULT COUNT IS NOT ZERO!")