pytorch dataloader的长度
pytorch中dataloader的大小将根据batch_size的大小自动调整。如果训练数据集有1000个样本,并且batch_size的大小为10,则dataloader的长度就是100。
需要注意的是,如果dataset的大小并不能被batch_size整除,则dataloader中最后一个batch可能比实际的batch_size要小。例如,对于1001个样本,batch_size的大小是10,train_loader的长度len(train_loader)=101,最后一个batch将仅含一个样本。可以通过设置dataloader的drop_last属性为True来避免这种情况。
Pytorch的Dataset提供了得到dataset中单个样本的接口,即通过使用index下标来获得单个样本数据。Dataloader用来提供batch个样本供模型训练
epoch与iteration的区别
iteration: 1个iteration 等于使用batchsize个样本训练一次
epoch: 1个epoch等于使用训练集中的全部样本训练一次