如何使用 .whl 文件调用 pyspark 代码？

Question

我用诗歌创建了一个轮文件。我正在运行 Spark-submit 命令，但它不起作用。我想我错过了一些东西spark-submit --py-files /path/to/wheel请注意，我也参考了下面的内容，但由于我是 Python 新手，因此没有获得太多详细信息。 如何将 python 包传递给 Spark 作业并使用参数从包中调用主文件

Answer 1

Wheel 文件可以作为以下 Spark-submit 命令的一部分执行

Spark-submit --deploy-mode cluster --py-files /path/to/wheel main_file.py