P14.Dataloader的使用

14.1Pytorch官网打开torch.utils.data.DataLoader

14.2在pycharm使用DataLoader

它返回img和target

代码如下：

点击查看代码

import torchvision
from torch.utils.data import DataLoader
#from torch.utils.tensorboard import SummaryWriter
#准备好测试数据集
test_data = torchvision.datasets.CIFAR10("./dataset",train=False,transform=torchvision.transforms.ToTensor())#batch_size=4是指每次从test_data中取其中4个数据集进行打包
test_loader = DataLoader(dataset=test_data,batch_size=4,shuffle=True,num_workers=0,drop_last=False)#测试数据集中第一张图片及其target
img,target = test_data[0]
print(img.shape)
print(target)

输出结果如下（测试数据集中第一张图片及其target）：

点击查看代码

D:\anaconda3\envs\pytorch\python.exe D:/DeepLearning/Learn_torch/P14_dataloader.py
torch.Size([3, 32, 32])
3进程已结束,退出代码0

14.3imgs,targets&Dataloader

1.up主总结

2.image.shape[i] 的含义

在 Python 中，image.shape 用于获取图像的形状。
它返回一个包含图像维度的元组。对于彩色图像，通常包含三个值：高度、宽度和通道数。
具体含义：
image.shape[0]：表示图像的高度，即垂直尺寸。
image.shape[1]：表示图像的宽度，即水平尺寸。
image.shape[2]：表示图像的通道数，例如RGB图像有三个通道。

3.如何取出dataloader里面的每一个返回：使用for循环

data只是一个变量，相当于i

点击查看代码

import torchvision
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter
#准备好测试数据集
test_data = torchvision.datasets.CIFAR10("./dataset",train=False,transform=torchvision.transforms.ToTensor())
test_loader = DataLoader(dataset=test_data,batch_size=64,shuffle=True,num_workers=0,drop_last=False)#当batch_size=64并在tensorboard打开dataloader时，
#drop_last=True：最后一次剩余16张的数据集，不足64张的，就会被舍弃
#drop_last=False：最后一次剩余16张的数据集，仍然保留（drop_last=False:不丢弃最后一个不足batch的数据）#在tensorboard里面展示
writer = SummaryWriter("dataloader")
# （1）讲解batch_size和drop_last
step = 0
for data in test_loader:imgs,targets = data  #batch_size=4时，每一个data都是4个img和target打包# print(imgs.shape)# print(targets)#print(f"批次 {step}: 包含目标标签 {targets}")#writer.add_images("test_data",imgs,step)writer.add_images("test_data_drop_last", imgs, step)step = step + 1
writer.close()

4.在tensorboard里面展示

当滑动不同的step时，图片不一样，如下两图所示：

5.修改drop_last为True时，再次打开tensorboard

点击查看代码

import torchvision
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter
#准备好测试数据集
test_data = torchvision.datasets.CIFAR10("./dataset",train=False,transform=torchvision.transforms.ToTensor())
test_loader = DataLoader(dataset=test_data,batch_size=64,shuffle=True,num_workers=0,drop_last=True)#当batch_size=64并在tensorboard打开dataloader时，
#drop_last=True：最后一次剩余16张的数据集，不足64张的，就会被舍弃
#drop_last=False：最后一次剩余16张的数据集，仍然保留（drop_last=False:不丢弃最后一个不足batch的数据）#在tensorboard里面展示
writer = SummaryWriter("dataloader")
# （1）讲解batch_size和drop_last
step = 0
for data in test_loader:imgs,targets = data  #batch_size=4时，每一个data都是4个img和target打包# print(imgs.shape)# print(targets)#print(f"批次 {step}: 包含目标标签 {targets}")#writer.add_images("test_data",imgs,step)writer.add_images("test_data_drop_last", imgs, step)step = step + 1
writer.close()

输出结果如下：

6.加一行代码。再运行以上代码：

print(f"批次 {step}: 包含目标标签 {targets}")

7.Shuffle=True/False的使用

（1）代码如下

点击查看代码

for epoch in range(2):  #外层循环：进行2个epoch（训练轮次）; epoch 会依次取值 0 和 1step = 0for data in test_loader:   #内层循环：遍历数据加载器中的所有批次； 每个data包含一个batch的图像和标签imgs,targets = data#print(f"批次 {step}: 包含目标标签 {targets}")#writer.add_images("test_data",imgs,step)#writer.add_images("test_data_drop_last", imgs, step)writer.add_images("epoch:{}".format(epoch), imgs, step)step = step + 1
writer.close()

（2）其中，"epoch:{}".format(epoch) 的作用是：

创建一个动态的字符串，把 epoch 的数字值插入到 "epoch:" 后面，这样在TensorBoard中就能清楚区分不同epoch的图像数据。

（3）当Shuffle=True时：

epoch:0和epoch:1的step155的图像的选取顺序不一样

（4）④当Shuffle=False时：

epoch:0和epoch:1的step155的图像一模一样