如何检索 parquet 文件中 TIMESTAMP 列的 idAdjustedUTC 标志值？

Question

我有一个镶木地板文件，其中包含许多类型的列converted_type (legacy): TIMESTAMP_MICROS。我想检查该标志isAjustedToUTC是否正确。我可以这样得到：import pyarrow.parquet as pqimport re    arrow = pq.ParquetFile("/Parquet/File/Path/filename.parquet")timestamp_string = str(arrow.metadata.row_group(0).column(79).statistics.logical_type)re.search("isAdjustedToUTC=(.*), timeUnit",timestamp_string).group(1)这给了我trueorfalse作为字符串。isAdjustedToUTC是否有另一种方法可以在不使用正则表达式的情况下检索 的值？

Answer 1

据我所知这是不可能的。属于不直接公开其底层成员的logical_type类型。pyarrow._parquet.ParquetLogicalType

唯一可用的字段是：

dir(logical_type)

>> ['__class__',

 '__delattr__',

 '__dir__',

 '__doc__',

 '__eq__',

 '__format__',

 '__ge__',

 '__getattribute__',

 '__gt__',

 '__hash__',

 '__init__',

 '__init_subclass__',

 '__le__',

 '__lt__',

 '__ne__',

 '__new__',

 '__pyx_vtable__',

 '__reduce__',

 '__reduce_ex__',

 '__repr__',

 '__setattr__',

 '__setstate__',

 '__sizeof__',

 '__str__',

 '__subclasshook__',

 'to_json',

 'type']

您可以使用该to_json功能，但它与您建议的选项一样脏：

import json

json.loads(logical_type.to_json())['isAdjustedToUTC']

>> true