第二章 相关技术研究
物流园中车牌识别系统是基于卷积神经网络的，是对卷积神经网络的应用与改进。因此，在介绍实际的车牌识别系统前，本文对卷积神经网络与目前主流的车牌识别算法进行了比较深入的研究，这是整个系统的基础。本章对于卷积神经网络以及车牌识别的车牌定位，字符分割，字符识别三个环节进行介绍。简单阐述字符分割算法，着重描述卷积神经网络的结构与算法，以及车牌识别中的字符识别算法。通过研究国内外的卷积神经网络技术与车牌识别算法，来给基于卷积神经网络的车牌识别系统做出铺垫。
2.1 相关技术。
2.1.1 卷积神经网络。
本文在深度学习中选取了卷积神经网络（CNN，ConvolutionalNeuralNetwork）作为网络结构。卷积神经网络的应用，可以在提升训练模型识别精度的前提下，有效缓解过拟合问题，并且提升模型训练速度，在车牌识别中提升速度与精度。
最早在 1958 年，感知机的模型即被 Rosenblatt 所提出，但是其只能对一些相对简单的图形进行粗略的分类，并不能加入到实际应用中去[5]。但是由于他的提出，加速了人们对于神经网络的研究。其实他所提出的感知机模型，只具有一个隐层，是单隐层结构，所以也是一种神经网络中的浅层神经网络。在 1986 年，Hinton 在 Rsenblatt 提出的感知机模型之上，提出了真正意义上的神经网络，即多隐层结构的深层神经网络。它与感知机相比较的优点是，由于深层神经网络具有更多的隐层，因此它可以实现学习更多智能化的问题。Hinton 提出的神经网络使用的是反向传播算法（BP，Back Propagation）来训练深度学习所需要的模型[6]。但是反向传播算法也具有着一些局限性的问题:（1）对于学习速率无法保证，存在训练过慢的问题；（2）在训练时，容易存在过拟合的问题；（3）训练的对象只能是被标出以后的数据。以上的这些问题，在当时一直没有得到有效的解决，也是无法将深度学习应用于实际的原因。
一直到 2006 年，Hindon 再次在机器学习领域提出了深度置信网络（DBN, Deep BeliefNetworks），其通过串联多个受限波尔兹曼机（RBM,RestrictedBoltzmannMachine）来构成深层的神经网络，并且以从低到高的方式一层一层进行初始化，解决了传统神经网络中对于模型训练遇到的局限问题[7]。又一次将深度学习带领到一个新的高度，唤起了对深度学习的又一次研究热情。
对于复杂函数难处理的性质，可以利用深度学习的方法来将其分为多层来简化。深度学习的框架由多层的非线性单元构成，如图 2.1 所示。其中，低层所输出的结果作为其上一层的输入数据，由此一层层叠加。上层在获得下层的大量数据时，从中进行学习并提取出对下层输入数据的特征表示，最后对这些提取出的特征进行调用，用来分类、回归得到想要得到的结果。以上是整个深度学习流程的一个概括描述，通过深度学习特征提取并分类的方法可以有效地解决许多智能化的问题。
神经网络由多个层组成，而层的数量即为深度学习的深度，一个神经网络的深度是由这个神经网络的设计者所决定的，一个神经网络具有输入层与输出层，中间的隐层数量决定了这个神经网络的深度[8]。神经网络可以具有一个隐层也可以具有多个隐层，如图 2.2 所示为具有一个隐层的神经网络，隐层的数量决定了这个神经网络是浅层结构的神经网络还是深层结构的神经网络。一个神经网络具有更多的隐层，表示它的分层结构越多，越是可以贴切的表示出一个复杂的高阶函数。如果隐层数量小于函数最少需要的层数时，必须要引入指数级的复杂度的因子，那么对于计算机的计算能力又是一个巨大的考验，所以在设计神经网络结构时，必须要引入足够的隐层。但隐层数量并不是越多越好，因为当一个神经网络中加入了过多的隐层，虽然在可以一定程度上地减小网络产生的误差，提高预测精度。由于隐层过多，会使网络训练时间增加，甚至出现过拟合现象[9]。所以，隐层数量的选择需要对具体应用进行调整，本文将对卷积神经网络进行具体的阐述。
LeCun 在 CNN 模型的训练中，将反向传播算法与之结合，通过反向传播算法来调整 CNN的权重，并且通过前向传播进行对下一层输出值的计算，如图23所示。
卷积神经网络的经典结构模型中包含三个部分，依次为卷积层（C），池化层（S）以及全连接层（F）。其中，卷积层的作用是，将上一层的输入数据进行特征的提取，提取出上层数据的深层信息，即可以称为特征提取器。池化层也叫降采样层，它的主要功能是完成对特征图的采样，经过对特征图的采样之后实现减少数据量的效果，但是同时又尽可能的保留有效信息，让数据不会随着采样而减少过多的有用信息，这也是 CNN 具有很优异的防止畸变的能力。最后是全连接层，放在最后也是因为它一般被用于网络结构的最后端，数据经过之前卷积层与池化层的多次提取与采样之后，会最终输入到全连接层，由全连接层来完成对之前各层提取出的特征进行最终的分类等其他的处理。此外，全连接层也用作输出层，它可以将之间各层提取出的特征处理为特征向量，将可视的图片完全转变为数学方式表达的特征向量。
这样获得的特征向量，可以输出来进行分类与预测。卷积神经网络不需要像传统算法一样在输入与输出数据之间用复杂的高阶函数来表示，卷积神经网络用训练的方式，来替代传统的映射方式[11]。所以，卷积神经网络在第一次训练时，仅仅需要用完全随机的数字来作为初始化时的权值。
对于卷积层，上一层输出被作为卷积层的输入，即卷积核将上层提取出的特征进行卷积计算，通过卷积计算即可得到本层卷积之后的特征，输出的特征可能是对多个输入特征的组合卷积得到的结果。
对于池化层，其与卷积层多个输入特征得到一个输出特征不同，每个对应的输入特征，将会得到相同数量的输出特征。池化层的功能决定了它只是将每个输入的特征数据量减少，因此输出特征也大大减小了[12]。此过程可以理解为权值共享，输入图像中一部分的统计特征是其他部分相同的。对于一个 5*5 的图像，可以用同一个学习特征来作为卷积核，与整个输入图像进行卷积操作，这样得到的输出特征在两个维度上都减小了 2，大大减小了输出数据的数据量，如下图 2.4 所示。
2.1.2 车牌识别技术。
车牌识别技术分为车牌定位，字符分割与字符识别三个部分[13]。车牌定位基于不同的特征又分为多种算法，其中包括了基于卷积神经网络的定位算法。字符分割是对上个环节的进一步处理，也是为了提取出车牌中 7 个字符输入下一个环节，由于深度学习很难结合字符分割，所以此部分通常用常规的图像处理技术处理[14]。字符识别是最后一个部分，将分割好的7 个字符分别输入并进行识别。此部分是最适合结合深度学习的部分，也是最重要的部分，因为其输出最终的结果，直接决定了之前环节所消耗的计算资源是否有价值[15]。
不同国家的车牌有不同的标准，对于我国的车牌，有几大特征：（1）车牌为矩形，长为440 毫米，高为 140 毫米。字符的大小为，高 90 毫米，宽 45 毫米，字符与字符之间间隔为12 毫米;（2）车牌的背景颜色根据规定的不同有多种，最常见的为蓝底白字;（3）车牌上的字符为 7 个，其中第一个为汉字，第二个为英文字母，第三个至第七个可能为数字也可能为字母，7 个字符以等间距的方式排列。在研究车牌定位技术时，必须考虑到要应用国家自己的车牌标准。
车牌区域具有自身特别的且不同于车辆其他部分的特征，这些不同的车牌特殊特征，引申出了多种定位技术[16]。（1）车牌含有许多角点，而车身的其他区域相交部分较少，不具有过多角点；（2）车牌的颜色对比度很大，表现在车牌的背景颜色与车牌字符颜色的对比上；（3）车牌是很规则的矩形区域，且矩形区域上面的字符分布也较为均匀；（4）车牌的矩形特征，决定了它必然存在垂直边缘，而车身则相反，大多都是水平边缘[17]。根据以上几个特殊特征，可以从不同的角度对车牌识别进行研究。
2.2 车牌识别技术研究现状。
2.2.1 车牌定位。
(1) 基于小波变换的车牌定位算法。
文献[18]-[21]提出了一种通过实现小波变换来进行车牌的定位的方法。将带有车牌的图像作为输入，通过对其进行小波变换，将输入的图像信息进行转换，得到处理后的子带信号，这些信号之间具有不同的分辨率与频率。再以这些子带信号为基础，将它们在频域上进行特性的变化，通过变换的结果来对比判断出车牌的位置。但是，此种车牌定位方法一般不单独使用，可以作为车牌定位的辅助算法来配合其他定位算法，减少定位误差率，提高车牌识别的定位精度。
(2) 基于纹理特征的车牌定位算法。
文献[22]-[24]提出了用车牌特殊的纹理特征来进行定位的算法。由于输入的原始图像具有过多的特征信息，所以首先对原始图像进行预处理，例如二值化等，在图像进行预处理之后，可以更清晰地将车辆的纹理信息突出，去除掉一些无用的信息。同时，根据国内车牌由七个字符等距离地排列，并且车牌背景与车牌字符有很强烈的对比度，在车牌经过二值化的预处理之后，车牌区域在整个图像中有更大的灰度值跳变。因此，通过筛选出一块具有大量纹理的矩形区域，可以判断为车牌区域。文献[25]选用了垂直边缘作为纹理特征，通过对比Roberts 算子、Sobel 算子、Krisch 等多种算子，选定了以 Roberts 算子作为寻找垂直边缘的算子，达到了车牌定位的功能。虽然此定位算法定位较为简单，但由于是基于纹理特征的定位，其在恶劣环境下受到过多噪声影响时，定位会产生较大的偏差，定位效果不是非常理想。
(3) 基于遗传算法的车牌定位技术。
文献[26]-[27]提出了一种通过遗传算法寻找车牌最佳定位坐标确定车牌区域的算法。首先利用输入图像的特征构造出适应度函数，在整个车牌区域进行类似遍历的处理，将所有可能符合车牌区域的区域定位参数加入到参数空间中。定位算法的优势是通过多次的迭代计算，在参数空间中寻找出最优的解，则这个最优解即是可能区域中最有可能是车牌区域的。此定位算法在较差的环境中有较好的抗噪声能力，但是由于车牌定位应用与实时系统中，遗传算法需要经过多次的迭代才能找到最优解，迭代的时间影响了定位的速度，所以此算法具有较差的应用性。
(4) 基于数学形态学的车牌定位方法。
文献[28]-[29]提出了一种利用结构元素来检测判断车牌区域的算法。首先对输入的原始图像进行二值化处理，对二值化处理后的图像做进一步的腐蚀降噪，以此尽可能减少干扰信息。在图像经过预处理降噪处理之后，通过数学的形态学运算，将处理后的图像中各个区域作闭合化处理，使图像中有多个闭合区域。在对各个闭合连通区域作记录以后，使用结构元素，与车牌相同的矩形元素进行比对验证，找到最符合结构元素的闭合连通区域，根据记录的标记确定最终的车牌区域。此方法的流程与算法较为简单，并且可以快速地确定车牌区域，有良好的实时性，但是在定位的准确性上有较大的局限性。
(5) 基于神经网络的车牌定位算法。
文献[30]-[32]提出了利用神经网络的车牌定位方法。通过收集大量的含有车牌的图像数据作为数据集，以此数据集中的样本用神经网络进行训练，经过不断的迭代之后，数据集中的图像达到了提前设置好的精度（往往接近于 100%）后训练结束，得到训练模型。在车牌定位时，先对输入的原始图像进行二值化，降噪等预处理，再将预处理后的图像输入神经网络，通过神经网络提取特征并进行分类，判断出最高可能性的区域为车牌区域。此算法不仅可以达到非常高的车牌定位精度，而且在识别速度上可以达到实时的要求，所以已经被广泛应用到了图像分析识别领域。但是在训练模型时，需要大量的图像作为训练数据集，对数据集进行模型训练时需要耗费较多的时间，有一定的局限性。
2.2.2 字符分割。
车牌字符分割环节是将车牌定位算法的输出结果作为输入，并对输入的车牌区域进行处理并分割，分割出的单个字符输出给字符识别算法。车牌字符分割算法处于车牌识别的中间环节，字符分割的效果直接影响到最终识别结果的精度。在车牌字符分割时，由于摄像机角度，光线问题等，会造成图像的变形甚至信息缺损，所以字符分割模块首要的是对输入的车牌区域进行预处理，这也是车牌分割中的难点之一。由于卷积神经网络算法对于字符分割部分没有很好的应用方式，所以本文没有将卷积神经网络应用于此，采用了较为传统的图像处理方式进行字符分割。
(1) 基于聚类的字符分割算法。
文献[33]-[34]提出了利用聚类连通域分析的方法完成字符分割的算法。首先，与车牌定位算法相同，对输入的车牌图像进行二值化等预处理。对二值化后的车牌图像进行递归分析，寻找出图像中所有连通区域，构成所有候选连通域。由于车牌字符的结构大小是可以预知的，对所有候选连通域的形状进行对比判断，排除掉不符合字符大小比例等特征的连通域，最终得到筛选出的字符区域。此算法在实际应用中受环境光线等影响，二值化后的图像中车牌字符可能存在不连通的情况，会大大减小字符分割的效果，甚至无法得到分割后的车牌字符。
文献[35]-[36]提出了利用聚类分析的车牌字符分割算法。与聚类连通域分析分割算法类似，但是其对二值化后字符可能不连通的问题有了良好的改善。车牌中有 7 个字符，并且间距都相对确定，首先设置 7 个字符的中心作为预先设置的中心像素，将所有二值化后的白色像素点与各个中心像素的距离对比，分别划分到对应的中心像素类别中，最后得到的 7 个聚类就是车牌的 7 个字符。此算法虽然解决了聚类分析中的不连通问题，但是由于对每一个二值化后的像素都进行聚类分析，导致消耗过多的计算资源，实时性较差。
(2) 基于垂直投影的字符分割算法。
文献[37]-[39]通过分析水平方向上的垂直投影来完成字符分割。首先对输入的车牌区域图像进行二值化处理，对处理过的图像在水平方向进行垂直投影。由于车牌的字符位置固定，字符间有等间隔间距，所以可以在字符间隔区域观察到投影图像中存在波谷，反过来可以根据投影的波谷位置判断出字符的间隔位置。通过对车牌垂直投影从左向右遍历，确定 6 个波谷的极小值，在极小值处进行分割，得到 7 个字符块，即为分割的字符区域。此算法的逻辑简单，占用计算资源少，有较好的实时性。但是一些特别情况下，例如识别‘W’、‘M’、‘川’等类似字符时，单个字符可能会被分割为多个，容易产生较大的误差，在实际应用中有较大的局限性。
(3) 基于模板匹配的字符分割算法。
文献[40]-[44]采用的模板匹配字符分割算法与垂直投影较为类似，但是相较于垂直投影分割算法在识别精度上有较大提升。首先对输入的车牌区域图像进行二值化处理，再对二值化后的图像进行垂直积分投影，利用垂直投影的波峰极大值与波谷极小值确定 7 个矩形区域。
在确认矩形区域后，利用根据先验信息提前设定好的车牌字符分割用的模板，对确定的 7 个矩形区域进行匹配分析，综合得到匹配的偏移量。当偏移量最小时，得到匹配的最佳状态，确认此时字符的边界位置，分割出每个字符区域。此算法相对于垂直投影车牌分割算法有更好的抗干扰性，利用车牌的先验信息来解决垂直投影算法中区域不连通造成的误识别问题，有效地提高了识别精度。但是此算法提升了逻辑复杂度，在确认最佳匹配时的计算复杂性，导致识别速率无法得到有效的保障。
2.2.3 字符识别。
字符识别算法决定了车牌识别系统的最终输出结果，它以字符分割后的字符区域为输入数据，对其进行进一步的识别。我国车牌不仅由数字与字母组成，车牌中还含有不同的汉字，给车牌的字符识别带来了更大的难度，利用传统单一的车牌识别算法往往不能达到所希望的识别精度。目前，国内外所使用的车牌字符识别算法有多种，本文选取比较常见的基于模板匹配识别算法、基于特征统计匹配识别算法以及基于机器学习识别算法进行研究，分析其优劣势。
(1) 基于模板匹配的字符识别算法。
文献[45]-[46]所采用的模板匹配字符识别算法是车牌字符识别中经典且逻辑简单的算法。此算法在识别时首先将输入的图像经过二值化预处理，且二值化的字符区域与模板库中字符大小等存在不一致，在匹配前对二值化后的字符进行归一化处理，以达到可以匹配操作的标准。对已知车牌中的标准字符图像提前建立好标准的模板库，在与标准模板库中的字符匹配得到匹配度后，选取出最佳匹配的字符即为最终识别的结果。此算法逻辑简单，利用了车牌中字符总量少的特性，直接将待识别字符进行匹配得出结果，大大节约了计算复杂度。但是由于车牌在光线环境差，清晰程度低时，会发生畸变甚至信息缺失，识别精度会大大降低。且在实际应用场景中，车牌图像往往不理想，具有车牌字符变形，模糊，缺失等情况，会造成大量的误识别，例如将‘0’识别为‘D’，所以给实际应用带来困难。
(2) 基于特征统计匹配的字符识别算法。
文献[47]-[48]采用特征统计匹配算法来完成车牌字符识别。基于特征统计匹配的算法与基于模板匹配的算法相比逻辑类似，但是前者在与模板库匹配时只考虑到整个字符的匹配性，所以受到误差影响较大，而后者深入单个字符的特征进行匹配，通过匹配字符的多个统计特性来减小识别误差。首先将输入的字符区域图像进行二值化处理，提取出字符的轮廓形状与字符块数量等，字符块数量可以如下这样理解，对于车牌中字符‘川’，根据汉字的笔画，可以判断为三个字符块，即三个不连通的区域。对于数字与字母来说，其简单的结构可以看作一个字符块。预先设定好的标准模板库中对每个车牌字符的特征都有对应的描述，与输入的待识别的字符所提取出的特征进行匹配计算，得出匹配度后，根据匹配度进行分类，得出最终的识别结果。此算法在逻辑上复杂于模板匹配的字符识别算法，考虑到了更多的统计特征来提高匹配的准确度。虽然减小了因为环境因素导致的图像畸变，模糊，缺失等情况带来的误识别，但是识别精度仍因外部图像状况不理想而受到很大影响。
(3) 基于机器学习的字符识别算法。
文献[49]-[52]采用基于支持向量机（SVM,SupportVectorMachine）的车牌字符识别算法，支持向量机首次由 Vapnik 及其实验室共同提出[53]，此算法因为其在样本数量较小时的处理效果，在识别车牌字符时适合采用。首先准备好识别时需要使用的分类器，收集一定数量的车牌字符，并给车牌字符打好对应的标记，通过对车牌字符提取特征并多次迭代，得到训练好的 SVM 分类器。在车牌识别阶段，对输入的待测车牌字符进行二值化处理，将二值化后的图像输入 SVM 分类器。分类器对待测车牌字符提取特征，与训练模型中的特征进行分类操作，输出识别结果。此算法对较差环境中获取的车牌图像的识别准确率有很大的提升，不易受到图像畸变的影响。但是其识别的准确率受到训练样本与训练时间的影响，训练数据集的准备与训练时所要耗费资源较多，且分类器的参数选择也较难掌控。
文献[54]-[56]采用了基于神经网络的车牌字符识别算法。与基于 SVM 的车牌字符识别类似，只是基于神经网络的车牌字符识别算法是多分类算法。它将预先收集并打好对应标签的图片作为训练用的数据集，对数据集中的图片进行二值化处理，并输入神经网络中进行训练，按照预先设定好的阈值得到训练后的模型。对待测的车牌图像进行二值化处理后输入神经网络，通过训练好的模型，可以直接得到预测结果。神经网络算法是在车牌识别中使用的较为先进的一种算法，此算法的优点是识别率高，在较差的环境中也能够有较好的鲁棒性。但是在训练与识别时需要有较好的计算性能的支持。
2.3 车牌识别技术在物流管理中的研究。
文献[57]-[59]提出了一个现代化物流中心管理信息系统。系统基于 ASP.NET 和 JS 技术进行开发，web 客户端可以直接利用浏览器打开，有效减少了客户端维护的成本。车牌识别技术提高了物流中心的自动化水平和信息化管理水平。在缩短停车时间的同时，减少收费环节的冒滴漏现象，并且可以提高货运效率，规范业务流程。但是其系统所使用的传统车牌识别技术，车牌识别的正确率仍然不够，无法杜绝因车牌识别错误而造成的系统误判断，对物流中心的管理造成经济损失。
文献[60]-[61]提出了一个物流园散料运输车辆信息管理系统。系统将传统的 RFID 技术与车牌识别技术相结合，对 RFID 寿命低，RFID 的读取设备 PDA 维护成本高的缺点，使用车牌自动识别技术来进行弥补，并在车牌识别系统无法识别的时候通过RFID刷卡来进行认证。
系统通过两种方式双向比对验证，来保证系统对车辆管理的可靠性。文献中的系统实现了自动装卸货验证控制，但是由于离不开 RFID 的使用，仍旧没有达到高度的自动化，对于人工以及设备的资源消耗没有减小到最低。
2.4 总结。
车牌识别技术在对车牌进行识别时，分为车牌定位，字符分割，字符识别三个关键环节。在每个环节中，对输入的原始图像都进行了图像的预处理，以减少误差信息引起的误识别。
不管是定位，分割，还是识别，如果仅仅基于一种传统的图像处理技术，无法达到理想的识别精度，通过算法的结合可以提高识别精度，但是由于过于复杂的逻辑，会过多地消耗计算资源。本章对车牌识别技术的各个环节进行阐述，并分析研究了车牌识别技术在物流中的应用。
卷积神经网络是深度学习未来的发展方向，也是神经网络算法的一个衍生，在语音、文字特别是图像的识别与分类上具有优异的效果。本章通过研究基于神经网络的车牌定位算法，基于机器学习的字符识别算法，认为卷积神经网络在车牌识别中有较大的优势。但是，这些技术方案仍然存在着不足，将卷积神经网络应用于物流园中的车牌识别，需要让其在实际的应用中有更好的实时性与可靠性。
