使用 pyspark 读取 sqlite - SQLException：不支持的类型 NULL

Question

我正在尝试使用 Spark 读取 sqlite db 文件，但出现以下错误：Py4JJavaError                             Traceback (most recent call last)<ipython-input-101-b7f53ac120a0> in <module>()----> 1 sqlContext.read.jdbc(url = jdbcUrl, table='the_table', properties=connectionProperties)/opt/spark/2.4.4/python/pyspark/sql/readwriter.py in jdbc(self, url, table, column, lowerBound, upperBound, numPartitions, predicates, properties)    557             gateway = self._spark._sc._gateway    558             jpredicates = utils.toJArray(gateway, gateway.jvm.java.lang.String, predicates)--> 559             return self._df(self._jreader.jdbc(url, table, jpredicates, jprop))    560         return self._df(self._jreader.jdbc(url, table, jprop))    561 /opt/spark/2.4.4/python/lib/py4j-src.zip/py4j/java_gateway.py in __call__(self, *args)   1255         answer = self.gateway_client.send_command(command)   1256         return_value = get_return_value(-> 1257             answer, self.gateway_client, self.target_id, self.name)   1258    1259         for temp_arg in temp_args:/opt/spark/2.4.4/python/pyspark/sql/utils.py in deco(*a, **kw)     61     def deco(*a, **kw):     62         try:---> 63             return f(*a, **kw)     64         except py4j.protocol.Py4JJavaError as e:     65             s = e.java_exception.toString()/opt/spark/2.4.4/python/lib/py4j-src.zip/py4j/protocol.py in get_return_value(answer, gateway_client, target_id, name)    326                 raise Py4JJavaError(    327                     "An error occurred while calling {0}{1}{2}.\n".--> 328                     format(target_id, ".", name), value)    329             else:    330                 raise Py4JError(Py4JJavaError: An error occurred while calling o1744.jdbc.: java.sql.SQLException: Unsupported type NULL    at 我认为问题是: java.sql.SQLException: Unsupported type NULL我正在读取的数据有空值并且不受支持，或者什么 - 但问题是数据有零空值并且它仍然不会读取表。运行我得到上面的错误显示。而且我也收到相同的错误消息。我显然在这里遗漏了一些东西，我能找到的所有线程都是 java 或 scala，虽然我已经尝试了其中建议的各种其他东西，但它似乎没有用。

Answer 1

您正在尝试使用 spark 从 SQLite 表导入数据。实际上，在 spark 中，JDBCDialect forSQLite是不存在的。因此，SQLite 类型未按预期匹配，因此出现此异常。

要解决这个问题，您需要通过扩展 Spark 抽象JdbcDialect类来编写 jdbc 方言，如下所示 -

object SQLiteDialect extends JdbcDialect {

...

}

在这里，您可以从其他可用的方言（例如PostgressDialect ）中获得帮助

现在按照下面提到的步骤进行测试 -

1. SQLiteDialect将编译后的类和伴生对象打包到一个 JAR 中

2. 将 JAR 复制到 Spark 二进制安装中的 jars 文件夹（可选，可能可以在额外的 --jars 参数中设置路径）

然后在创建 SQLite 表和示例数据后在 spark-shell 中运行以下测试：

org.apache.spark.sql.jdbc.JdbcDialects.registerDialect(org.apache.spark.sql.jdbc.SQLiteDialect)

val jdbcDF = sqlContext.read.format('jdbc').options(url='jdbc:sqlite:/path/to/sqlitedb/test.db',

                                       dbtable = 'the_table', 

                                       driver = 'org.sqlite.JDBC').load()

jdbcDF.show()

JdbcDialects.unregisterDialect(org.apache.spark.sql.jdbc.SQLiteDialect)

参考这个线程

貌似有中型博客讲SQLite方言，有很好的解释，请参考。