有没有办法在 h5py 中一次获取所有组中的数据集？

Question

我将数据存储在 .h5 中。我使用以下代码来显示组名，并调用其中一个组 (Event_[0]) 来查看其中的内容：with h5py.File(data_path, 'r') as f:    ls = list(f.keys())    print('List of datasets: \n', ls)    data = f.get('group_1')    dataset1 = np.array(data)    print('Shape of dataset1: \n', dataset1.shape)    f.close()它工作正常，但我有 2000 个组，每个组有一个数据集。如何避免为每个组编写相同的代码？有没有办法得到（'所有团体'）？编辑：再举一个例子：我用f['Event_[0]'][()]看一组。这也可以应用于多个组吗？

Answer 1

只需迭代键列表：

with h5py.File(data_path, 'r') as f:

    alist = []

    ls = list(f.keys())

    print('List of datasets: \n', ls)

    for key in ls:

         group = f.get(key)

         dataset = group.get(datasetname)[:]

         print('Shape of dataset: \n', dataset.shape)

         alist.append(dataset)

    # don't need f.close() in a with

没有allgroups; 有 iter 和 visit 方法，但它们最终做同样的事情 - 对于文件中的每个组，获取所需的数据集。 h5py文档应该是完整的，没有隐藏的方法。这visit是递归的，类似于用于访问目录和文件的 Python OS 功能。

在h5py文件和组中表现得像 Python dicts。它是行为类似于numpy数组的数据集。

Answer 2

如果您知道您将始终拥有此数据模式，则可以使用键（如上一个答案所示）。这意味着只有根级别的组，而数据集是每个组下的唯一对象。当您不知道文件的确切内容时，“访问者”功能非常方便。

有 2 个访问者函数。他们是visit()和visititems()。每个递归地遍历对象树，为每个对象调用访问者函数。唯一的区别是可调用函数visit接收 1 个值：name，而visititems接收 2 个值：name和node（一个 h5py 对象）。名称就是一个对象的名称，而不是完整的路径名。我更喜欢visititems有两个原因：1) 拥有节点对象允许您对对象类型进行测试（如下所示），以及 2) 确定路径名需要您知道路径或使用对象的名称属性来获取它。

下面的示例创建一个简单的 HDF5 文件，创建一些组和数据集，然后关闭该文件。然后它以读取模式重新打开并用于visititems()遍历文件对象树。（注意：访问者函数可以有任何名称并且可以与任何对象一起使用。它从文件结构中的那个点开始递归遍历。）

f.close()此外，您在使用构造时不需要with / as:。

import h5py

import numpy as np

def visit_func(name, node) :

    print ('Full object pathname is:', node.name)

    if isinstance(node, h5py.Group) :

        print ('Object:', name, 'is a Group\n')

    elif isinstance(node, h5py.Dataset) :

        print ('Object:', name, 'is a Dataset\n')

    else :

        print ('Object:', name, 'is an unknown type\n')

arr = np.arange(100).reshape(10,10)

with h5py.File('SO_63315196.h5', 'w') as h5w:

    for cnt in range(3):

        grp = h5w.create_group('group_'+str(cnt)) 

        grp.create_dataset('data_'+str(cnt),data=arr) 

    

with h5py.File('SO_63315196.h5', 'r') as h5r:     

    h5r.visititems(visit_func)