使用HOG特征+BP神经网络进行车标识别

阅读量：5073 次

发布时间：2019-06-12

本文共 8141 字，大约阅读时间需要 27 分钟。

先挖个坑，快期末考试了，有空填上w

好了，今晚刚好有点闲，就把坑填上吧。

//-------------------------------开篇-------------------------------------------

首先讲一下，这篇随笔不是讲HOG特征是什么，怎么提取（这种图像特征网上一搜一大把），也不是讲BP神经网络工作原理，发展史啥的（机器学习小白，ANN深究我也不懂）。在这里我要讲的是，车标识别怎么code，怎么使用OpenCV自带的BP神经网络训练，以及识别。好了废话不多说，咱们开始吧。

//------------------------要准备的东西---------------------------------

正式讲代码前讲一下正式完成本工程需要什么准备工作。

1、配置Opencv 2.4.6及以上版本的VS 2010+，OpenCV 3可能改动的比较大，对本工程来说不建议。

2、一个车标库，尽量多一点，本工程共使用900来张车标样本，分为训练集（560张）和测试集（371张）

（工程迁移到了）

//--------------------------正篇-----------------------------------------

准备好了以上的东西，我们就可以开始了。

我将结合代码分几步来讲怎么识别图像特征、喂给BP神经网络来识别车标，一步一步扩充代码

第一步建立工程

简单讲一下工程预处理吧，本工程就一个main.cpp文件，因此在建好工程后，建一个main.cpp就可以了。然后将我们的车标库test测试集和train训练集放在和整个工程同一目录下。

为了读取图片方便，我们使用两个txt文件trainpath、和testpath来保存每张图片的路径（路径文件在车标库里有，但是如果要使用这两个文件，就必须把他们放在main.cpp同一个目录下，同时，车标库也必须放在和工程同一目录下）

这是车标库和工程的存放位置关系

这是图片路径文件和main.cpp的关系

为main.cpp添加opencv的头文件，因为对OpenCV的结构不是特别熟，因此大家只要把万用的头文件一股脑写出来就行

1 #include 
     
      2 #include 
      
       3 #include 
       
        4 #include 
        
         5 #include 
         
          6 #include 
          
           7 #include 
           
            8 #include 
            
             9 #include

本工程用了以上头文件。

哦对了，还有两个名字空间，写一下吧

1 using namespace std;2 using namespace cv;

有些头文件就用了一两个函数啦，比如cstring就用到了个memset()23333，还有些OpenCV 1.x版本的头文件也挺多余的，不过还是都写上吧，免得报错了

第二步初始化工作

然后我们就开始带代码的编写工作了，我们按照main.cpp的代码顺序来讲。

我们先定义代码要用到的全局变量：

1 //----------------------------全局变量定义---------------------------------2     vector
     
       descriptors;               //HOG特征存放向量 3     float    data[m_NUM][F_NUM];             //样本特征存放数组4     float    f[1][F_NUM];                        //测试样本特征存放数组5     float    dataCls[m_NUM][CLASSNUM];       //样本所属类别6     int      mClass ;                        //训练样本所属类别7     int      dNum;                           //训练样本个数

其中有几个宏要在之前定义一下

1 #define  F_NUM    1764     //7*7*9*4  车标特征维数2 #define  m_NUM    560      //训练样本个数3 #define  CLASSNUM 4        //车标种类

解释一下两段数据的设置

首先讲一下特征数目吧，HOG特征其实是一个1×N维的特征矩阵，N的确定由检测窗口大小、块大小、胞元大小决定。每个胞元9个bin。

本实验检测窗口定为64×64，就是整张图片的大小，块大小16×16，胞元8×8，步进8×8，这样一张图片就有(64/8-1)*(64/8-1)*9*（16*16）/(8*8)=1764维特征

那么560个样本就有560*1764个特征，就构成了特征矩阵data[560][1764]。

来看看OpenCV的神经网络训练函数

1 int CvANN_MLP::train(const Mat& inputs, const Mat& outputs, const Mat& sampleWeights, const Mat& sampleIdx=Mat(), CvANN_MLP_TrainParams params=CvANN_MLP_TrainParams(), int flags=0 );

这是我们之后要用到的关键函数，OpenCV自带的神经网络训练函数，我们依次来看下参数

第一个input是一个num×F_NUM的训练数据输入矩阵，num是样本个数，F_NUM是每个样本的特征数目，是不是刚好对应了我们的data矩阵。但是我们看到，data是浮点型数组，inputs是Mat阵，怎么统一呢？其实OpenCV在初始化Mat的时候，就可以使用一般的二维数组进行赋值，只要数据类型匹配，并且维度相等就行了，就像下面一样

1 Mat trainDate(m_NUM,F_NUM,CV_32FC1,data);

这里使用一个data的首地址初始化了trainData这个输入阵。

再来解释下dataCls为什么是560×4的。

继续看trian()函数的第二个参数，outputs，是一个num×CLASSNUM的数据阵，num是样本个数，CLASSNUM是样本的总类别数。

当然对于560个数据，每个数据都要有一个类别。CLASSNUM是4，那么这个阵具体是怎么样初始化的呢？

举个例子，0号样本属于第1类，那么dataCls[0]={1,0,0,0} 也就是说，对应的那一类初始化为1，其余的都是0。

我们同样使用上述的初始化数据阵的方法将dataCls的内容复制到trainLable中（注意，dataCls和data数组要严格对齐，就是说，x号样本的特征放在data[x]里，所属类别放在dataCls[x]里）

1 Mat trainLable(m_NUM,CLASSNUM,CV_32FC1,dataCls);

对于train的其他参数，除了params需要注意下，其他都是默认的。

第三步读取训练样本，填充数据矩阵data和类别矩阵dataCls

首先，我们定义了全局变量，要进行初始化工作，那么写完void main()后的第一件事就是调用init()函数，进行初始化工作，init()代码如下

/***************************************************名称：init()*参数：void*返回值：void*作用：初始化各类参数****************************************************/void  init(){    memset(data,0,sizeof(data));               memset(dataCls,0,sizeof(dataCls));     mClass = -1;                //初始类别为-1       dNum = 0;                //统计样本个数，其实没软用，对于本工程样本个数固定为560}

之后是读入图像和提取HOG特征，并记录样本所属类别和填充数据矩阵，代码如下

init();    ifstream in("trainpath.txt");string s,ss;    while( in >> s){        if(ss != s.substr(0,19)){            mClass++;            //类别是0，1，2，3            cout<
     
      <

稍微解释一下流程。

先定义一个文件流用于读取训练集路径文件trainpath.txt，这个txt文件保存了所有训练集的文件路径，一行一个，像这样

..\..\data\train\Citroen\X-雪铁龙_1350198-01_201502010833146800.jpg ..\..\data\train\Citroen\X-雪铁龙_1350198-01_201502010841008800.jpg ..\..\data\train\Citroen\X-雪铁龙_1350198-01_201502010845367300.jpg

　　而且，不同类别的车标放在一起，举个例子，共400行，前100行是雪铁龙，再100行本田，再100行一汽，再100行福田（每个字符串的前17行是一样的，19行肯定不一样）

这样有个好处，可以方便地统计这个图片路径对应的图片属于哪个种类的车。我们从代码来看这个过程。

先定义两个字符串ss和s，文件流一行行读入并保存一行到s,取前19行，如果不等于ss，就让mClass+1。

可以看到，初始mClass=-1.并且第一个字符串肯定不等于ss(因为此时ss为空)，那么第一个图片数据就属于类别0，之后保存ss为s的前19位。

这样，读完整个图片路径，4种车标就可以很清楚地被区分了。

然后后面这个是读图保护，不管他，

然后读入图片，使用resize函数将其压缩到64×64，看到没，这就是我们提取HOG时候的检测窗口大小。

调用getHog(img)获取图像的HOG特征，这个getHog是自定义函数，写在main函数前面就行，代码如下：

1 /************************************************** 2 *名称：getHOG() 3 *参数：Mat& img 4 *返回值：void 5 *作用：获取图像的HOG特征 6 ****************************************************/ 7 void getHOG(Mat& img) 8 { 9     HOGDescriptor *hog = new HOGDescriptor(             10             Size(64,64),      //win_size  检测窗口大小，这里即完整的图11             Size(16,16),      //block_size  块大小12             Size(8,8),        //blackStride 步进13             Size(8,8),        //cell_size  细胞块大小14             9                   //9个bin15             );16     hog -> compute(           //提取HOG特征向量17         img, 18         descriptors,          //存放特征向量19         Size(64,64),            //滑动步进20         Size(0,0)21         );    22     delete hog;23     hog = NULL;24 }

这里其实就调用了几个openCV自带的函数，对传进来的图片进行特征提取而已。有一点要注意，compute函数的第二个参数

descriptors是全局变量，记不起来的可以去前面的全局变量定义的地方找找，它就是用来保存提取到的HOG特征。

刚才我们也计算过了，一张图1764个特征，也就是一次提取，descriptors就放一次1×1764的数据。

那么提取到一张图的特征后，我们要把他放到data里，那么就是packData了，同样，packData是一个全局函数

void packData(){        int p = 0;        for (vector
     
      ::iterator it = descriptors.begin(); it != descriptors.end(); it++)        {            data[dNum][p++] = *it;        }        dataCls[dNum++][mClass] = 1.0;}

前一半的for循环用来从descriptors中的向量填到data矩阵中，后一个语句就是更新它对应的类别矩阵。

循环执行完，我们的数据也填充完毕了，接下来就是建立网络训练了。

第四步建立神经网络训练参数矩阵

先上这部分代码

1 //------------------------建BP神经网络，开始训练------------------------ 2     CvANN_MLP bp; 3  4     CvANN_MLP_TrainParams params; 5     params.term_crit=cvTermCriteria(CV_TERMCRIT_ITER+CV_TERMCRIT_EPS,7000,0.001);  //迭代次数7000,最小误差0.001 6     params.train_method=CvANN_MLP_TrainParams::BACKPROP;   //训练方法反向传播 7     params.bp_moment_scale=0.1; 8     params.bp_dw_scale=0.1; 9    10 11     Mat layerSizes = (Mat_
     
      (1,3) << F_NUM,48,4 );  //3层神经网络12     Mat trainDate(m_NUM,F_NUM,CV_32FC1,data);13     Mat trainLable(m_NUM,CLASSNUM,CV_32FC1,dataCls);14     bp.create(layerSizes, CvANN_MLP::SIGMOID_SYM);          //激活函数sigmoid15     system("cls");16     cout<<"训练中...训练时间大致需要6分钟，请耐心等待";17     bp.train(trainDate,trainLable, Mat(),Mat(), params);  //开始训练18     19     system("cls");20     cout << "训练完成！！" <

CvANN_MLP是openCV自带的人工神经网络类，可以直接用，很方便吧。

我们先定义了一个CvANN_MLP类，然后看第二块，第二块就是神经网络的一些参数的设定，具体注释都有，就不讲了

第三块：第11行，定义神经网络层数为3层，第一层：F_NUM个神经元，还记得F_NUM吗？全局变量，就是特征数1764！

总之神经网络就是1764,48,4共3层，每次节点数就是这么几个。

12-13行，看见没，这就是把我们填充完的数据数组和类别数组赋值给Mat阵，之后就能调用create函数啦，创建一个网络，使用SIGMOID函数什么的。

然后是训练，train()之前也说过。SO EASY!

等待6分钟左右，训练就结束了，之后就是测试了

第五步测试神经网络

老规矩，上代码再说

1 //---------------------------------读入图像，开始测试-------------------------- 2     system("cls"); 3     cout<<"开始测试..."<
     
      > s){12         memset(f,0,sizeof(f));13         if(ss != s.substr(0,19)){14             cls++;15             cout<
      
       <

测试就不说太多了了，无非读一下测试路径集，匹配一下，唯一要讲的就是那个第22行的classiffier函数，这个也是个全局函数，上代码吧2333

/***************************************************名称：classifier()*参数：Mat&  CvANN_MLP&*返回值：int*作用：求解测试结果最相邻类别****************************************************/int classifier(Mat& image,CvANN_MLP& bp){        getHOG(image);    int p = 0;

for (vector
     
      ::iterator it = descriptors.begin(); it != descriptors.end(); it++) {         f[0][p++] = *it;   }

Mat nearest(1, CLASSNUM, CV_32FC1, Scalar(0)); Mat charFeature(1, F_NUM, CV_32FC1,f); bp.predict(charFeature, nearest); Point maxLoc; minMaxLoc(nearest, NULL, NULL, NULL, &maxLoc); int result = maxLoc.x; return result; }

这个函数返回神经网络预测测试图片最可能的所属类别。之后就是统计正确个数了。