在 TensorFlow 2.x 中看似不连续地打乱后的批处理元素

Question

我有以下简单的例子：import tensorflow as tftensor1 = tf.constant(value = [[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]])tensor2 = tf.constant(value = [20, 21, 22, 23])print(tensor1.shape)print(tensor2.shape)dataset = tf.data.Dataset.from_tensor_slices((tensor1, tensor2))print('Original dataset')for i in dataset:      print(i)dataset = dataset.repeat(3)print('Repeated dataset')for i in dataset:      print(i)如果我然后将其批处理dataset为：dataset = dataset.batch(3)print('Batched dataset')for i in dataset:   print(i)正如预期的那样，我收到：Batched dataset(<tf.Tensor: shape=(3, 3), dtype=int32, numpy=array([[1, 2, 3],       [4, 5, 6],       [7, 8, 9]], dtype=int32)>, <tf.Tensor: shape=(3,), dtype=int32, numpy=array([20, 21, 22], dtype=int32)>)(<tf.Tensor: shape=(3, 3), dtype=int32, numpy=array([[10, 11, 12],       [ 1,  2,  3],       [ 4,  5,  6]], dtype=int32)>, <tf.Tensor: shape=(3,), dtype=int32, numpy=array([23, 20, 21], dtype=int32)>)(<tf.Tensor: shape=(3, 3), dtype=int32, numpy=array([[ 7,  8,  9],       [10, 11, 12],       [ 1,  2,  3]], dtype=int32)>, <tf.Tensor: shape=(3,), dtype=int32, numpy=array([22, 23, 20], dtype=int32)>)(<tf.Tensor: shape=(3, 3), dtype=int32, numpy=array([[ 4,  5,  6],       [ 7,  8,  9],       [10, 11, 12]], dtype=int32)>, <tf.Tensor: shape=(3,), dtype=int32, numpy=array([21, 22, 23], dtype=int32)>)批处理数据集采用连续的元素。但是，当我先进行混音，然后进行批处理时：dataset = dataset.shuffle(3)print('Shuffled dataset')for i in dataset:  print(i)dataset = dataset.batch(3)print('Batched dataset')for i in dataset:   print(i)我正在使用 Google Colab 和TensorFlow 2.x.我的问题是：为什么在批处理之前进行洗牌会导致batch返回非连续元素？感谢您的任何答复。

Answer 1

这就是洗牌的作用。你是这样开始的：

[[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]]

您已指定，buffer_size=3因此它会创建前 3 个元素的缓冲区：

[[1, 2, 3], [4, 5, 6], [7, 8, 9]]

您指定了batch_size=3，因此它将从此样本中随机选择一个元素，并将其替换为初始缓冲区之外的第一个元素。假设[1, 2, 3]已被选中，您的批次现在是：

[[1, 2, 3]]

现在你的缓冲区是：

[[10, 11, 12], [4, 5, 6], [7, 8, 9]]

对于 的第二个元素batch=3，它将从此缓冲区中随机选择。假设[7, 8, 9]已挑选，您的批次现在是：

[[1, 2, 3], [7, 8, 9]]

现在你的缓冲区是：

[[10, 11, 12], [4, 5, 6]]

没有什么新内容可以填充缓冲区，因此它将随机选择这些元素之一，例如[10, 11, 12]。您的批次现在是：

[[1, 2, 3], [7, 8, 9], [10, 11, 12]]

下一批将只是[4, 5, 6]因为默认情况下， batch(drop_remainder=False).