第四章 基于 CNN 的车牌识别算法
在上一章中提出的物流园中基于卷积神经网络的车牌识别管理系统总体设计中，实现车辆出入园智能化管理所利用的关键技术为车牌识别技术。复杂环境下实现可靠的车牌识别，需要结合多种算法进行研究。本章将对车牌识别中车牌定位，字符分割以及字符识别进行阐述，以使本文优化的算法在后续的系统中应用。
4.1 车牌识别流程。
车牌识别技术将识别过程分为三个环节，即车牌定位、字符分割与字符识别。其中，车牌定位与字符分割模块都需要对图像预处理，字符识别模块直接使用 Yolo2 网络进行分类并得到识别结果，不需要进行图像预处理操作，如图 4.1 所示为车牌识别的流程图。
车牌定位模块流程：对原始图像进行预处理，在闭操作后对全图进行轮廓提取操作，对提取的轮廓进行矩形匹配以确定候选车牌区域，最终将候选车牌区域输入卷积神经网络得到最终分类出的车牌区域。
字符分割模块流程：对定位出的车牌区域进行预处理并判断车牌颜色，在闭操作后对全图进行轮廓提取操作，最后对字块进行分割得到分割后的字符块。
字符识别模块流程：通过设计好的标签与数据集输入 Yolo2 网络进行训练得到预训练模型，将得到的车牌区域坐标中的图像输入 Yolo2 网络得到分类结果，输出预测的车牌识别结果。
下面，根据流程图对三个模块进行详细的阐述。
4.2 卷积神经网络车牌定位。
根据本文第二章分析的各种车牌定位技术的优缺点，且车牌定位的准确性对整个车牌识别有着决定性的影响，本文提出了一种基于卷积神经网络的车牌定位改进算法。
4.2.1 原始图像预处理。
(1) 高斯模糊。
原始图像可能会由于不理想的拍摄环境，例如光线不足设备感光度过高，导致原始图像噪点过多。因此，在对图像进行定位时需要进行预处理，高斯模糊可以有效地去除图像中的噪点，也为后续形态学操作所做的重要准备。
高斯模糊需要设定好高斯模糊的模糊半径与常数 σ，以模糊半径设置为 1 为例，对一个像素点周围一圈的 8 个像素进行整体的高斯模糊。同时常数 σ 设置为 1.5，则可以获取以下高斯模糊所需的权重矩阵，此矩阵可以计算 9 个像素点的加权平均，并且数组九个点之和为 2，不会过多改变图像的信息。高斯模糊图像每个像素具有 RGB 三个通道的值，因此需分别对RGB 进行计算，得到高斯模糊加权平均后的 RGB 值。
4.2 卷积神经网络车牌定位。
根据本文第二章分析的各种车牌定位技术的优缺点，且车牌定位的准确性对整个车牌识别有着决定性的影响，本文提出了一种基于卷积神经网络的车牌定位改进算法。
4.2.1 原始图像预处理。
(1) 高斯模糊。
原始图像可能会由于不理想的拍摄环境，例如光线不足设备感光度过高，导致原始图像噪点过多。因此，在对图像进行定位时需要进行预处理，高斯模糊可以有效地去除图像中的噪点，也为后续形态学操作所做的重要准备。
高斯模糊需要设定好高斯模糊的模糊半径与常数 σ，以模糊半径设置为 1 为例，对一个像素点周围一圈的 8 个像素进行整体的高斯模糊。同时常数 σ 设置为 1.5，则可以获取以下高斯模糊所需的权重矩阵，此矩阵可以计算 9 个像素点的加权平均，并且数组九个点之和为 2，不会过多改变图像的信息。高斯模糊图像每个像素具有 RGB 三个通道的值，因此需分别对RGB 进行计算，得到高斯模糊加权平均后的 RGB 值。
如图 4.3 可以看到原始图像经过高斯模糊后的效果，虽然经过了平均模糊算法处理，图像看似变得更模糊了，但是对计算机进行形态学操作并取轮廓排除了很多噪点干扰。
(2) 灰度化。
本文所采用的候选区域定位算法是基于数学形态学的定位算法，并非基于颜色的定位算法，而且色彩图像相对于灰度图像含有更多需要计算机处理的数据，需要占用更大的计算量。因此，通过灰度化技术来将经过高斯模糊后的图像转化成灰度图像，并且在形态学操作时不需要非常高的精度，牺牲图像色彩信息而损失的定位效果可以忽略考虑。
图像的色彩信息依靠 RGB 三个通道的值共同进行表示，因此一个像素占用三个字节，而灰度化后的图像像素只占用一个字节，灰度值的范围为 0 到 255，原始图片灰度值的取值基于 R,G,B 分量的值。本位为了达到更好的灰度化效果，利用了类似高斯模糊中的加权矩阵，通过加权平均值法来将原始图像进行灰度化。根据图像 YUV（亮度与两个色差信号）信息中的亮度值来描述图像，其亮度值即为灰度图像的灰度值，根据 YUV 与 RGB 转换的权值矩阵计算 YUV 中 Y 分量的值：
(3) 二值化。
经过高斯模糊与灰度化的预处理后，图像满足了二值化处理的条件。二值化即用黑白两种颜色信息来表示图像，将希望得到的图像与无关图像有效区分。通过提前设定一个阈值，即一个灰度值，高于或者低于阈值的分别处理为白与黑。图像的二值化，对车牌识别中车牌定位与车牌分割都有至关重要的作用。图像二值化不仅可以有效减少无效信息，并且可以减少形态学操作与矩形匹配时的计算资源消耗。
常用的二值化方法分为全局阈值法与自适应阈值法，图像光线条件层次不齐的情况下，特别是晚上摄像头对车牌照相时，光线从一方射出，造车车辆图像光照情况不均匀，使用一个固定的阈值无法将目标图像与背景图像有效分开，因此本文使用了自适应阈值法。自适应阈值二值化通过遍历图像，计算出一个动态的平均值作为阈值，当像素低于这个阈值则将像素设置为黑色，否则为白色。假设图像为 m*n 大小，将图像首尾相连为一个 1*(m*n)的单行图像，假设 hn-s为图像位于随机 n 处的像素点，如图 4.6 所示。
4.2.2 闭操作与轮廓提取。
由于车牌中的字符都不能两两相连，计算机无法将此区域判断为一个完整的矩形区域。
因此，需要进行闭操作来将车牌的字母连成一个连通域，在取轮廓时更加方便准确。闭操作实际上是由腐蚀与膨胀两个操作组成，通过先膨胀，再腐蚀完成闭操作。
腐蚀操作将图像中的物体边缘腐蚀变小。将 m*n 的矩形作为一个窗口，图像中每个像素都做如下遍历操作：像素点放置于矩形的中心点，所有被窗口所覆盖的元素进行遍历，将此元素的灰度值修改为所有窗口覆盖元素的最小值，对于二值化的图像就是将像素点变为黑色。
通过腐蚀操作可以将图像突出的轮廓进行腐蚀，过程如图 4.8 示。
膨胀操作对图像中物体的轮廓进行一定的放大，与腐蚀操作类似但是完全相反，本文不再赘述。
闭操作是将图像先进行膨胀操作再进行腐蚀操作。车牌区域中的车牌字符是两两完全分离的，所以为了表现与车牌定位中相同情况的闭操作，将图像中两个分离的物体进行闭操作来进行说明。闭操作通过将两个分离的物体分别膨胀，使得两个物体有两两重叠的部分，再通过腐蚀操作，将膨胀操作对图像的变形影响尽可能降低，图 4.9 为闭操作的过程。
通过以上的闭操作过程，可以将车牌字符本来不连续的情况去除，使所有字符具有重叠部分成为一个闭合连通区域，在取轮廓时可以被取出。轮廓提取就是将所有闭合连通区域，即图像中不与其他区域有交接的部分提取出来。在取出图像中的闭合连通区域后，对轮廓取最小的外接矩形即为候选车牌区域。
4.2.3 矩形尺寸匹配。
根据车牌的先验信息可知，中国的车牌大小确定，为 440mm*140mm，宽高比约为 3.143，通过用宽高比为 3.143 的矩形进行匹配上节得到的外接矩形，来判断是否可能为车牌区域。
判断时设定的条件，可以从宽高比以及区域面积两个方面共同判断：
（1） 宽高比条件判断：根据中国车牌实际的宽高比 3.143 设置一个外接矩形宽高比范围，根据多次试验，将最大宽高比设置为 5.8，最小宽高比设置为 1.6，如果一个闭合连通域的外接矩形的比例在 1.6-5.8 之外，则将此区域从候选车牌区域剔除。
（2） 面积条件判断：在一个固定的摄像头取景位置，车牌图像的面积是在一个可控变化范围的。本文根据多次试验，将最大面积设置为 880*280，最小面积设置为 220*70，如果闭合连通域的外接矩形面积在此范围之外，则将此区域从候选车牌区域剔除。
以上两个判断条件能够判断一个闭合连通域是否可能为车牌区域，可以有效地将大部分不可能成为车牌区域的闭合连通域排除。由于阈值设置合理且宽松，实际车牌区域几乎不会被误排除。在实际的矩形匹配操作后，可以准确地排除 80%以上的非车牌闭合连通域，为后续卷积神经网络进行分类减小了压力，有效地节省计算资源，提高系统的实时性。
4.2.4 卷积神经网络分类。
卷积神经网络对候选车牌区域进行最后的分类，需要说明的是，卷积神经网络使用的输入图像是灰度化后的图像，因此只使用矩形匹配时得到的候选车牌区域坐标。根据得到的坐标，将灰度化后的候选区域图像输入卷积神经网络进行分类，得到预测的车牌区域。
为了使卷积神经网络更有效地收敛并且提高网络的分类准确率，对训练用的数据集以及候选车牌进行归一化处理。对图像的归一化是指对灰度值的归一化，假设像素点(u,v)处的像素点灰度值为 g(u,v)，则像素点（u,v）处灰度值归一化后为候选车牌区域的最小灰度值。
将候选区域每个像素点灰度值进行归一化操作，归一化后的图像作为原始图像输入卷积神经网络中进行分类，最后将输出最高的候选车牌区域作为最终定位的车牌位置。
卷积神经网络预测需要建立预测时使用的训练模型，数据集中图像也需进行归一化处理，训练使用的参数经过本文针对车牌进行修改，下面为训练过程。
（1） 数据集使用在矩形匹配时选取的候选区域作为训练样本，并且对正确的车牌区域手动作好标记。训练时使用 IoU（检测出的目标区域与实际正确标记的窗口的重叠率）大于0.9 的候选区域作为正样本，将 IoU 低于 0.2 的候选车牌区域作为负样本，使用相同数量的正样本与负样本进行训练，训练开始时的初始数据使用随机数。
（2） 为了提高训练得到的数据集对候选区域分类时的正确率，将（1）中得到的训练模型选择矩形匹配得到的候选车牌区域作为测试数据进行分类。将分类错误的候选区域加入到（1）的训练集中作为训练样本，利用更新的训练集进行 fine-tune，对一个已经训练好的模型进行修正。
（3） 重复步骤（2），本文将阈值设定为 0.97，即达到 97%的识别正确率时停止 fine-tune，得到最终的预训练模型。
4.2.5 本文改进的车牌定位。
本文将传统的基于数学形态学的车牌定位算法与卷积神经网络相结合，通过传统算法得到一定数量的候选车牌区域，再通过卷积神经网络对车牌区域进行分类，得到最终定位的车牌区域。具体的流程是：对图像进行高斯模糊与二值化预处理，对预处理的图像进行闭操作与轮廓提取。根据车牌先验信息知道车牌的具体轮廓信息，例如长宽比等，通过矩形的尺寸比例判断取出的轮廓是否符合成为车牌区域的条件，如果满足则作为候选车牌区域。最后，利用卷积神经网络的多分类优势来分类出最终预测的车牌区域。图 4.13 为本文改进的车牌定位算法流程图：
4.2.6 算法测试与性能分析。
闸道摄像头对车辆前部图像进行拍摄，将拍摄得到的原始图像输入车牌识别模块中，首先对车牌区域进行候选判定，从候选区域的判定结果中，仍然存在较多的候选区域。较多候选车牌区域被选出的原因是输入的原始图像存在过多噪点，并且由于原始图像中的干扰图像边缘特征不足，并且其特征过于接近实际的车牌区域。本文在车牌定位中的二次分类使用了卷积神经网络，对所有候选区域进行二次分类后得到了正确的车牌区域。
车牌定位的性能分析选取了与数据集不同的 2000 张含有车牌的车辆图像作为测试的样本，输入车牌识别模块进行车牌定位测试，定位的结果与 Yolo 和 FasterR-CNN 进行对比，对比结果如下表 4.1 所示。
车牌定位性能测试的结果表明，相对于传统主流的车牌定位算法，本文基于卷积神经网络改进的定位算法在识别的准确率上有一定提升，在时间的开销上优于 FasterR-CNN 但是高于 Yolo 网络。如图 4.14 所示，本文算法在数据集样本数量较小时相较于其他算法在定位准确率的衰减更少，在轻量级的模型训练上更有优势。由于本文定位算法分为候选与二次分类两个环节，牺牲了一定的时间开销成本，但提升了定位的准确率。因此，一定的车牌定位复杂化提升了定位精度，对系统车牌识别实时性影响不大，具有相当的价值。
