带有 Tensorflow 数据集 API 的 Keras 生成器 - IndexError：

Question

我需要开发一个 RNN 模型，并希望使用数据生成器来提供训练/评估循环。首先，我在从 csv 文件中获取数据时使用了这个帮助功能。RECORD_DEFAULTS_TRAIN = [[0], [0.0], [0.0], [0.0], [0.0], [0.0], [0.0]]def decode_csv(line):   parsed_line = tf.decode_csv(line, RECORD_DEFAULTS_TRAIN)   label =  parsed_line[-1]      # label is the last element of the list   del parsed_line[-1]           # delete the last element from the list   del parsed_line[0]            # even delete the first element bcz it is assumed NOT to be a feature   features = tf.stack(parsed_line)  # Stack features so that you can later vectorize forward prop., etc.   return features, label 这是我的数据生成器功能：def data_generator(file_path_list, batch_size):  filenames = tf.placeholder(tf.string, shape=[None])  dataset = tf.data.Dataset.from_tensor_slices(filenames)  dataset = dataset.flat_map(lambda filename: tf.data.TextLineDataset(filename).skip(1).map(decode_csv))  dataset = dataset.shuffle(buffer_size=1000)  dataset = dataset.batch(batch_size)  iterator = dataset.make_initializable_iterator()  next_element = iterator.get_next()  with tf.Session() as sess:      while True:          sess.run(iterator.initializer, feed_dict={filenames: file_path_list})          while True:                          try:                batch_data, batch_labels = sess.run(next_element)                # Dimension of the data needs to be: (batch_size, length_of_each_sequence, nr_inputs_in_each_timestep)                # Since the last batch in a epoch can have a different size,                # "batch_data.shape[0]" is used instead of batch_size                batch_data = np.reshape(batch_data, (batch_data.shape[0], SEQUENCE_LEN, 1))              except tf.errors.OutOfRangeError:                break              yield (batch_data, batch_labels)

Answer 1

解决了。我想解释这个问题而不是删除我的帖子，以便它也可以帮助其他人。

我只会给出evaluate_generator(...)函数的例子。这就是我调用函数的方式..

lstm_model.evaluate_generator(data_generator(TEST_FILE_PATHS, TEST_BATCH_SIZE), 

                             steps=(NR_TEST_EXAMPLES // TEST_BATCH_SIZE), 

                             verbose=1)

我将其更改如下：

test_data_generator = data_generator(TEST_FILE_PATHS, TEST_BATCH_SIZE)

lstm_model.evaluate_generator(test_data_generator, 

                              steps=(NR_TEST_EXAMPLES // TEST_BATCH_SIZE), 

                              verbose=1)

问题解决了。我在不同的地方看到了这两种用法，即使人们在网上找到的每一种信息都不一定是真的。我也不清楚为什么在更改上面的代码时可以解决它。如果有人知道，我会很高兴听到解释。