一、 faster rcnn环境搭建
下载源码 https://github.com/rbgirshick/py-faster-rcnn Python版本
https://github.com/ShaoqingRen/faster_rcnn Matlab版本
本文介绍matlab版本的配置过程:
1、 在Faster_rcnn-master目录下添加bin文件
2、 在Faster_rcnn-master目录下添加models文件
3、 在external/caffe目录下添加MATLAB文件
4、 添加datasets文件夹,文件夹内为 数据集,可以使用VOC2007或者自己的数据集
5、 如果想直接测试,不需要添加datasets文件夹在Faster_rcnn-master目录下添加output文件,文件为训练好的模型,就可以直接运行experiments/script_faster_rcnn_demo.m,注意:运行时目录应在主目录Faster_rcnn-master下
6、 如果训练VOC2007数据,只需下载VOC2007的数据集,存放在datasets文件夹中,如果训练自己的数据集,则需要把自己的数据集做成和VOC2007相同格式的。
二、 制作数据集
我的数据集的图片格式是png,标记内容存储在txt中,写一个txt到xml格式转换的数据接口。
三、 细节修改
1、 datasets/VOCdevkit2007/VOCcode/VOCinit.m
将VOC2007改成自己数据集文件夹的名字
图片的格式,因为我的是png格式的所以需要修改,如果自己的数据集和VOC2007的数据集格式相同都是jpg,则不需要修改。
修改自己检测目标的类别,比如我只有一类就写一个,类别全写上。类别和文件名一定要和Annotation/**.xml的标记信息里的内容对应,如图中黄色所示,前两个和文件夹名称对应,最后一个对应检测类别。
2、 imdb/imdb_from_voc.m
改为 imdb.extension=’png’,如果数据集中的图片格式本身是jpg格式,则不需要修改。
3、 VOCdevkit2007/results
在results下新建一个文件夹,名字是“你的数据集的文件夹名”, “你的数据集的文件夹名”下新建一个Main文件夹
4、 VOCdevkit2007/local
在local下新建一个文件夹,名字是“你的数据集的文件夹名”
5、 functions/fast_rcnn/fast_rcnn_train.m
可能会在randperm(N,k)出错,建议将val_iters改小,具体数值根据自己的数据集修改,一般为val的1/5
6、 funvtions/rpn/proposal_train.m
与5同样的问题
7、 imdb/imdb_eval_voc.m
改为:
8、 网络模型修改
1)、models/fast_rcnn_prototxts/ZF/train_val.prototxt
其中K为类别数,根据K值不同进行修改
2)、models/fast_rcnn_protoxtxs/ZF/test.prototxt
3)、models/fast_rcnn_prototxts/ZF_fc6/train_val.prototxt
4)、models/fast_rcnn_prototxts/ZF_fc6/test.prototxt
最后在训练之前把output文件夹删除,把imdb/cache文件删除
9、 训练:
Experiments/script_faster_rcnn_VOC2007_ZF.m
训练完后
将output/faster_rcnn_final/faster_rcnn_VOC2007_ZF/detection_test.prototxt进行修改,将relu5(包括relu5)前的层删除,并将roi_pool5的bottom改为data和rois,将input“data”下的input_dim分别改为1,256,50,50(VGG为1,512,50,50),如图所示
10、 测试
Experiments/script_faster_rcnn_demo.m 运行
注意将调用的模型和图片改为自己的,然后根据自己数据集的需要进行调参已达到最好的结果。
参考博客:http://blog.csdn.net/sinat_30071459/article/details/50546891
制作VOC2007格式数据集
0.文件夹名
首先,确定你的数据集所放的文件夹名字,例如我的叫logos。
(或者和voc2007一样的名字:VOC2007)
1.图片命名
虽然说图片名对训练没什么影响,但建议还是按VOC2007那样,如“000005.jpg”这种形式。至于图片格式,代码里是写的jpg,其他格式行不行我没有试过,我的训练集也是jpg格式的。
批量修改图片名字为VOC2007格式可以参考以下Matlab代码:
- %%
- %图片保存路径为:
- %E:\image\car
- %E:\image\person
- %car和person是保存车和行人的文件夹
- %这些文件夹还可以有多个,
- %放在image文件夹里就行
- %该代码的作用是将图片名字改成000123.jpg这种形式
- %%
- clc;
- clear;
-
- maindir='E:\image\';
- name_long=5; %图片名字的长度,如000123.jpg为6,最多9位,可修改
- num_begin=1; %图像命名开始的数字如000123.jpg开始的话就是123
-
- subdir = dir(maindir);
- n=1;
-
- for i = 1:length(subdir)
- if ~strcmp(subdir(i).name ,'.') && ~strcmp(subdir(i).name,'..')
- subsubdir = dir(strcat(maindir,subdir(i).name));
- for j=1:length(subsubdir)
- if ~strcmp(subsubdir(j).name ,'.') && ~strcmp(subsubdir(j).name,'..')
- img=imread([maindir,subdir(i).name,'\',subsubdir(j).name]);
- imshow(img);
- str=num2str(num_begin,'%09d');
- newname=strcat(str,'.jpg');
- newname=newname(end-(name_long+3):end);
- system(['rename ' [maindir,subdir(i).name,'\',subsubdir(j).name] ' ' newname]);
- num_begin=num_begin+1;
- fprintf('当前处理文件夹%s',subdir(i).name);
- fprintf('已经处理%d张图片\n',n);
- n=n+1;
- pause(0.1);%可以将暂停去掉
- end
- end
- end
- end
图片名如果比较特殊或者像1(1).jpg等这类可能无法重命名,可以使用imwrite,如:
- imwrite(img,strcat(save_path,newname));%改名后保存到另一文件夹,原图片不变
也可以使用Total Commander来批量重命名,非常方便,推荐使用这个工具。
2.画目标包围框
将图片中所框的目标信息保存起来,我的是保存到txt里,如下:
- 000002.jpg car 44 28 132 121
- 000003.jpg car 54 19 243 178
- 000004.jpg car 168 6 298 164
前面是图片名,中间是目标类别,最后是目标的包围框坐标(左上角和右下角坐标)。
打框的代码(c++)我封装成了dll,下载地址:
图像标注VS2013项目 (我的环境是win7vs2013旗舰版,win8 win10好像不能运行)
或者下这个EXE版本的(win7下用cmd运行,win8 win10可能运行不了):
图像标注EXE
2016-10-18:
上面标注的代码使用的是别人封装的opencv动态库,现在修改为opencv2.4.10,64位,vs2013,按网上教程配置好opencv,资源地址:
上面的代码好像忘写操作说明了,这里写一下:
(1)图片显示出来后,输入法切换到英文;
(2)在目标的左上角按下鼠标左键,拉一个包围框到目标右下角,然后键盘输入标签(一个字符)
(3)继续(2)操作,直到框完该张图片上的目标;
(4)按n进入下一张,esc退出。
注意:标签只能输入一个字符,你可以在生成的txt文件中替换成你实际的标签。
将第2步得到的txt转成xml。 如果每张图片有一个或多个包围框,可参考代码:
VOC2007xml(这份代码生成的xml训练Matlab版本的FRCNN可能会出错,最好用下面修改过的)
这份代码生成的xml第一行含有版本和编码信息:<?xml version="1.0" encoding="utf-8"?>,并且含有空格,用来训练Faster RCNN可能会有问题,如下:
(左边是VOC2007数据集中的xml,右边是上面代码生成的xml(第一行我删掉了),用Notepad打开就可以看到)
VOC2007中的xml前面是tab字符(左边那些箭头),上面代码生成的xml是空格(那些小黄点),所以,必须将空格转换成tab,下载修改过的代码:
VOC2007xml_new
(下载VOC2007xml_new就可以了,不用下载VOC2007xml,不过如果xml用作其他用途还是可以的)
最终,得到的xml就和VOC一样。
4.保存xml到Annotations
新建一个文件夹,名字为Annotations,将xml文件全部放到该文件夹里。
5.将训练图片放到JPEGImages
新建一个文件夹,名字为JPEGImages,将所有的训练图片放到该文件夹里。
6.ImageSets\Main里的四个txt文件
新建文件夹,命名为ImageSets,在ImageSets里再新建文件夹,命名为Main。
我们可以通过xml名字(或图片名),生成四个txt文件,即:
txt文件中的内容为:
- 000005
- 000027
- 000028
- 000033
- 000042
- 000045
- 000048
- 000058
即图片名字(无后缀),test.txt是测试集,train.txt是训练集,val.txt是验证集,trainval.txt是训练和验证集.VOC2007中,trainval大概是整个数据集的50%,test也大概是整个数据集的50%;train大概是trainval的50%,val大概是trainval的50%。可参考以下代码:
- %%
- %该代码根据已生成的xml,制作VOC2007数据集中的trainval.txt;train.txt;test.txt和val.txt
- %trainval占总数据集的50%,test占总数据集的50%;train占trainval的50%,val占trainval的50%;
- %上面所占百分比可根据自己的数据集修改,如果数据集比较少,test和val可少一些
- %%
- %注意修改下面四个值
- xmlfilepath='E:\Annotations';
- txtsavepath='E:\ImageSets\Main\';
- trainval_percent=0.5;%trainval占整个数据集的百分比,剩下部分就是test所占百分比
- train_percent=0.5;%train占trainval的百分比,剩下部分就是val所占百分比
-
-
- %%
- xmlfile=dir(xmlfilepath);
- numOfxml=length(xmlfile)-2;%减去.和.. 总的数据集大小
-
-
- trainval=sort(randperm(numOfxml,floor(numOfxml*trainval_percent)));
- test=sort(setdiff(1:numOfxml,trainval));
-
-
- trainvalsize=length(trainval);%trainval的大小
- train=sort(trainval(randperm(trainvalsize,floor(trainvalsize*train_percent))));
- val=sort(setdiff(trainval,train));
-
-
- ftrainval=fopen([txtsavepath 'trainval.txt'],'w');
- ftest=fopen([txtsavepath 'test.txt'],'w');
- ftrain=fopen([txtsavepath 'train.txt'],'w');
- fval=fopen([txtsavepath 'val.txt'],'w');
-
-
- for i=1:numOfxml
- if ismember(i,trainval)
- fprintf(ftrainval,'%s\n',xmlfile(i+2).name(1:end-4));
- if ismember(i,train)
- fprintf(ftrain,'%s\n',xmlfile(i+2).name(1:end-4));
- else
- fprintf(fval,'%s\n',xmlfile(i+2).name(1:end-4));
- end
- else
- fprintf(ftest,'%s\n',xmlfile(i+2).name(1:end-4));
- end
- end
- fclose(ftrainval);
- fclose(ftrain);
- fclose(fval);
- fclose(ftest);
这四个txt放在ImageSets\Main中。
这样,数据集就基本做好了。然后新建文件夹,名字为logos(第0步确定的名字),将上面三个文件夹放到这里,即logos文件夹里有三个文件夹:
将logos文件夹拷贝到datasets\VOCdevkit2007里就可以了。
(或者替换voc2007数据集中的Annotations、ImageSets和JPEGImages,免去一些训练的修改)
注意:如果你的下载积分不够,请留邮箱我发给你。
(2016-10-07前评论留邮箱的应该都发了,可以找他们转发一下)