CIFAR10 数据加载器采样器拆分

Question

我正在尝试分割 CIFAR10 的训练数据，因此训练集的最后 5000 个用于验证。我的代码size = len(CIFAR10_training)dataset_indices = list(range(size))val_index = int(np.floor(0.9 * size))train_idx, val_idx = dataset_indices[:val_index], dataset_indices[val_index:]train_sampler = SubsetRandomSampler(train_idx)val_sampler = SubsetRandomSampler(val_idx)train_dataloader = torch.utils.data.DataLoader(CIFAR10_training,                                          batch_size=config['batch_size'],                                          shuffle=False,  sampler = train_sampler)valid_dataloader = torch.utils.data.DataLoader(CIFAR10_training,                                           batch_size=config['batch_size'],                                           shuffle=False,  sampler = val_sampler)print(len(train_dataloader.dataset),len(valid_dataloader.dataset),但最后一个打印语句打印 50000 和 10000。当我打印 train_idx 和 val_idx 时，它不应该是 45000 和 5000 它打印正确的值（[0：44999]，[45000：49999] 我的代码有什么问题吗

Answer 1

我无法复制您的结果，当我执行您的代码时，打印语句输出相同数字的两倍：train_CIFAR10valid_dataloaderCIFAR10_test(50000, 50000)

train_dataloader.datasetvalid_dataloader.datasetCIFAR10_training

您不能要求len(train_dataloader)45000/batch_size

如果您需要知道分割的大小，那么您必须计算采样器的长度：

print(len(train_dataloader.sampler), len(valid_dataloader.sampler))

除此之外，您的代码很好，您正确地分割了数据。