运行SQL查询时出现PySpark错误

Question

由于缺乏在pyspark / python中编写代码的知识，我决定在spark.sql中编写查询。我用两种格式编写了查询。第一种格式允许EOL中断。但是，以这种格式我会遇到错误，请参见下文：results5 = spark.sql("SELECT\  appl_stock.Open\ ,appl_stock.Close\FROM appl_stock\WHERE appl_stock.Close < 500")上面的格式产生以下错误：---------------------------------------------------------------------------Py4JJavaError                             Traceback (most recent call last)~/spark-2.1.0-bin-hadoop2.7/python/pyspark/sql/utils.py in deco(*a, **kw)     62         try:---> 63             return f(*a, **kw)     64         except py4j.protocol.Py4JJavaError as e:~/spark-2.1.0-bin-hadoop2.7/python/lib/py4j-0.10.4-src.zip/py4j/protocol.py in get_return_value(answer, gateway_client, target_id, name)    318                     "An error occurred while calling {0}{1}{2}.\n".--> 319                     format(target_id, ".", name), value)    320             else:Py4JJavaError: An error occurred while calling o19.sql.: org.apache.spark.sql.catalyst.parser.ParseException: mismatched input '.' expecting {<EOF>, ',', 'FROM', 'WHERE', 'GROUP', 'ORDER', 'HAVING', 'LIMIT', 'LATERAL', 'WINDOW', 'UNION', 'EXCEPT', 'MINUS', 'INTERSECT', 'SORT', 'CLUSTER', 'DISTRIBUTE'}(line 1, pos 35) 而以下代码可产生成功的结果，请参见下文：results6 = spark.sql("SELECT appl_stock.Open ,appl_stock.Close FROM appl_stock WHERE appl_stock.Close < 500")有人可以让我知道为什么第一个代码不起作用，而第二个代码却不起作用吗？

Answer 1

因为您\在第一个中使用，并且将其作为奇数语法传递给spark。如果要编写多行SQL语句，请使用三引号：

results5 = spark.sql("""SELECT

  appl_stock.Open

 ,appl_stock.Close

FROM appl_stock

WHERE appl_stock.Close < 500""")

Answer 2

就我而言，我遇到了错误mismatched input '*' expecting <EOF>。然后我意识到我正在使用spark.table(而不是spark.sql(。我认为这可能对某人有用...

Answer 3

奇怪的是，如果我使用终止我的SQL语句，这对我来说是抛出的;。只需将其修复即可。

IE

spark.sql("""

SELECT * FROM foo WHERE bar = 3;

""")

休息。

spark.sql("""

SELECT * FROM foo WHERE bar = 3

""")

才不是。