使用 python 生成器访问 json 对象

Question

这是我的 sql 表（2700 万行）的导出示例，如下所示：test.json{    "table": "table",    "rows":    [        {            "state": "UNKNOWN"        },        {            "state": "IE"        }    ]}这是我试图用来在 elasticsearch 中加载表的生成器函数filename='test.json'def load_json(filename):    with open(filename,'r') as open_file:        yield json.load(open_file)['rows']我收到以下错误：TypeError: pop() takes at most 1 argument (2 given)在我的生成器函数上运行next(load_json(filename))时，这是输出。[{'state': 'UNKNOWN'}, {'state': 'IE'}]如您所见，它正在返回一个list，这是导致错误的原因。有人可以解释我如何正确访问我的 json 以及为什么我的方法不正确。

Answer 1

你产生了一个列表，所以你不能使用dict.pop. 在您的情况下，您应该这样编写代码：

def load_json(file_name):

    with open(filename,'r') as open_file:

        for row in json.load(open_file)['rows']:

            yield row

这意味着，一旦你加载了一个新行，你将跳转到其他函数来处理该值。然后你可以在下面弹出。

for row in load_json(file_name):

    print(row.pop('state'))

但是，还是要告诉你，这种方式并不能优化你的代码，因为json.load会一次性读取整个文件，所以还是会消耗很大的内存...

你说你用的是 elasticsearch，那你最好用 pagination 本身，而不是 generator。

Answer 2

您很可能希望遍历行并像这样一一输出它们：

filename='test.json'

def load_json(filename):

    with open(filename,'r') as open_file:

        for r in json.load(open_file)['rows']:

            yield r 

目前你只产生一件事——整个列表。因此，由您的原始函数创建的迭代器将返回一个完整列表作为第一个元素，然后停止。