从熊猫数据帧在Keras中加载一批图像

Question

我有一个带有两列的pandas数据框，其中一列具有图像的路径，另一列具有字符串类标签。我还编写了以下函数，这些函数从数据帧加载图像，对其进行规范化并将类标签转换为一键矢量。def prepare_data(df):    data_X, data_y = df.values[:,0], df.values[:,1]    # Load images    data_X = np.array([np.array(imread(fname)) for fname in data_X])    # Normalize input    data_X = data_X / 255 - 0.5    # Prepare labels    data_y = np.array([label2int[label] for label in data_y])    data_y = to_categorical(data_y)    return data_X, data_y我想将此数据帧提供给Keras CNN，但整个数据集太大而无法立即加载到内存中。这个站点上的其他答案告诉我，为此，我应该使用Keras ImageDataGenerator，但是老实说，我不理解如何从文档中做到这一点。将延迟加载的批次中的数据馈送到模型的最简单方法是什么？如果它是ImageDataGenerator，如何创建一个ImageDataGenerator来对Dataframe进行初始化，并将批处理通过我的函数传递，以创建适当的numpy数组？以及如何使用ImageDataGenerator拟合模型？

Answer 1

我是Keras的新手，所以请服食我的盐。我认为您应该使用Keras ImageDataGenerator，尤其是该flow_from_dataframe选项，因为您说您拥有Pandas数据框。Flow_from_dataframe读取数据框的cols以获取文件名和标签。

以下是一个示例片段。在网上查找教程。

train_datagen = ImageDataGenerator(horizontal_flip=True,

                                   vertical_flip=False,

                                   rescale=1/255.0)

train_generator = train_datagen.flow_from_dataframe(     

    dataframe=trainDataframe,  

    directory=imageDir,

    x_col="file", # name of col in data frame that contains file names

    y_col=y_col_list, # name of col with labels

    has_ext=True, 

    batch_size=batch_size,

    shuffle=True,

    save_to_dir=saveDir,

    target_size=(img_width,img_height),

    color_mode='grayscale',

    class_mode='categorical', # for classification task

    interpolation='bilinear')