将 JSON 对象数组转换为 CSV - Python

Question

我已成功将简单的 JSON 转换为 CSV。当文件包含 JSON 对象数组时，我遇到了问题。我使用的csv模块不是pandas为了转换。请参考以下处理成功和失败的内容：成功（当文件包含单个 json 对象列表/数组时）：[{"value":0.97,"key_1":"value1","key_2":"value2","key_3":"value3","key_11":"2019-01-01T00:05:00Z"}]失败 ：[{"value":0.97,"key_1":"value1","key_2":"value2","key_3":"value3","key_11":"2019-01-01T00:05:00Z"}][{"value":0.97,"key_1":"value1","key_2":"value2","key_3":"value3","key_11":"2019-01-01T00:05:00Z"}][{"value":0.97,"key_1":"value1","key_2":"value2","key_3":"value3","key_11":"2019-01-01T00:05:00Z"}]该json.loads函数抛出异常如下：Extra data ; line 1 column 6789 (char 1234)如何处理此类文件？编辑：使用 Kinesis Firehorse 刷新此文件并推送到 S3。我正在使用 lambda 下载文件并加载它并进行转换。所以它不是.json文件。

Answer 1

像这样解析每一行：

with open('input.json') as f:

    for line in f:

        obj = json.loads(line)

Answer 2

因为您的文件不是有效的 JSON。您必须逐行读取文件，然后将每一行单独转换为对象。

或者，您可以像这样转换文件结构...

[

  {

    "value": 0.97,

    "key_1": "value1",

    "key_2": "value2",

    "key_3": "value3",

    "key_11": "2019-01-01T00:05:00Z"

  },

  {

    "value": 0.97,

    "key_1": "value1",

    "key_2": "value2",

    "key_3": "value3",

    "key_11": "2019-01-01T00:05:00Z"

  },

  {

    "value": 0.97,

    "key_1": "value1",

    "key_2": "value2",

    "key_3": "value3",

    "key_11": "2019-01-01T00:05:00Z"

  }

]

它将是一个有效的 JSON 文件。

Answer 3

正如 tanaydin 所说，您失败的输入不是有效的 json。它应该是这样的：

[

    {

        "value":0.97,

        "key_1":"value1",

        "key_2":"value2",

        "key_3":"value3",

        "key_11":"2019-01-01T00:05:00Z"

    },

    {"value":0.97,"key_1":"value1","key_2":"value2","key_3":"value3","key_11":"2019-01-01T00:05:00Z"},

    {"value":0.97,"key_1":"value1","key_2":"value2","key_3":"value3","key_11":"2019-01-01T00:05:00Z"}

]

我假设您通过迭代对象列表并调用json.dumps每个对象来创建 json 输出。您应该创建字典列表，然后调用json.dumps整个列表。

list_of_dicts_to_jsonify = {}

object_attributes = ['value', 'key_1', 'key_2', 'key_3', 'key_11']

for item in list_of_objects:

    # Convert object to dictionary

    obj_dict = {}

    for k in object_attributes:

        obj_dict[k] = getattr(item, k) or None

    list_of_dicts_to_jsonify.append(obj_dict)

json_output = json.dumps(list_of_dicts_to_jsonify)