'PipelinedRDD'对象在PySpark中没有属性'toDF'

Question

我正在尝试加载SVM文件并将其转换为A，DataFrame以便可以使用PipelineSpark中的ML模块（ML）。我刚刚在Ubuntu 14.04（未spark-env.sh配置）上安装了新的Spark 1.5.0 。我的my_script.py是：from pyspark.mllib.util import MLUtilsfrom pyspark import SparkContextsc = SparkContext("local", "Teste Original")data = MLUtils.loadLibSVMFile(sc, "/home/svm_capture").toDF()我正在使用： ./spark-submit my_script.py我得到错误：Traceback (most recent call last):File "/home/fred-spark/spark-1.5.0-bin-hadoop2.6/pipeline_teste_original.py", line 34, in <module>data = MLUtils.loadLibSVMFile(sc, "/home/fred-spark/svm_capture").toDF()AttributeError: 'PipelinedRDD' object has no attribute 'toDF'我不明白的是，如果我跑步：data = MLUtils.loadLibSVMFile(sc, "/home/svm_capture").toDF()直接在PySpark外壳内，它可以工作。