学习的caffe的目的,不是简单的做几个练习,而是最终落实到自己的项目或科研中去。因此,本文介绍一下,从自己的原始图片到lmdb数据,再到训练和测试的整个流程。
一、数据的准备
有条件的同学,可以去ImageNet的官网点击打开链接,下载ImageNet图片来训练。但是我没有下载,因为我注册过程中一直出现bug。
也可以去这个网盘(点击打开链接)下载图像数据,包括手写数字.jpg,手写数字.csv,人脸检测正负样本224*224,image.zip,.CASIA-WebFace.zip
我重新找了500张图片来代替,分为大巴车、恐龙、大象、鲜花和马五个类,每个类100张。需要的同学,可以去这个网盘下载点击打开链接。
编号分别以3,4,5,6,7开头,各为一类。我从其中每类选出20张作为测试,其余80张作为训练。因此最终训练图片400张,测试图片100张,共5类。我将图片放在caffe-master根目录下的data文件下。即训练图片目录:data/re/train/,测试图片目录:data/re/test/
二、转换为lmdb格式
首先在examples下面创建一个myfile的文件夹,来用存放配置文件和脚本文件。然后编写一个脚本create_filelist.sh,用来生成train.txt和test.txt清单文件
#sudo mkdir examples/myfile
#sudo vi examples/myfile/create_filelist.sh
编辑create_filelist.sh文件,并写入如下代码,并保存
#!/usr/bin/env sh
DATA=data/re/
MY=examples/myfile
echo "Create train.txt..."
rm -rf $MY/train.txt
for i in 3 4 5 6 7
do
find $DATA/train -name $i*.jpg | cut -d '/' -f4-5 | sed "s/$/ $i/">>$MY/train.txt
done
echo "Create test.txt..."
rm -rf $MY/test.txt
for i in 3 4 5 6 7
do
find $DATA/test -name $i*.jpg | cut -d '/' -f4-5 | sed "s/$/ $i/">>$MY/test.txt
done
echo "All done"
注: 这个脚本文件中,用到了