基于变长模板匹配的车牌字符分割算法

图灵视控

背景介绍                                    

车牌识别系统通常包括车牌检测、字符分割和字符识别等三个步骤。其中，字符分割步骤需要切分出车牌图像中所有字符的精确位置，并通过字符识别模块识别出所有的车牌字符。在实际的场景中，车牌字符分割过程容易受到光照变化、尺度变化、透视失真、以及锈迹、污迹、噪声、铆钉、背景等干扰因素的影响，因此，提高字符分割的效果对车牌识别的整体性能具有比较重要的意义。实际的监控场景中，由于拍摄视角或车辆位置的变化，相机光轴通常偏离车牌平面的法线方向，导致车牌图像不可避免地产生透视失真。由于车牌是整幅图像中一个比较小的局部区域，车牌图像几何校正的关键在于校正车牌图像的旋转和剪切失真。

偏斜校正方法主要有旋转投影法和直线拟合法，前者需要对车牌该图像逐个角度穷举进行剪切变换，然后统计垂直投影数值为0的点数，其最大值对应的角度即为垂直倾斜角。该方法容易受到字符以外区域的干扰。直线拟合法通过对车牌字符区域的左边界点进行直线拟合得到垂直倾斜角。虽然不用逐个角度地对车牌图像进行剪切变换，但左边界点拟合出的直线往往不能真正代表车牌的垂直倾斜方向，检测出的角度误差较大，且受字符左侧噪声干扰太大，鲁棒性较差。因此，很有必要寻求一种更为准确和快速的车牌垂直倾斜校正方法。文献[42]提出基于字符投影点坐标方差最小的车牌垂直倾斜校正方法. 首先对水平校正并划定字符区上下边界后的车牌图像进行字符粗分割，然后将字符点经剪切变换沿垂直方向投影。根据投影点坐标方差最小导出两种剪切角闭合表达式，由此一步确定车牌垂直倾斜角并进行校正。

目前，投影分析是最常用的一种车牌字符分割方法[8,16,39,43-52]，它采用水平和竖直投影的峰谷特征分别来确定车牌字符边界，具有较低的计算复杂度和较好的可扩展性。其缺点是峰谷位置容易受到各种干扰因素的影响，难以处理质量退化比较严重的图像。为此，形态学分析和连通体分析方法经常结合投影分析方法来分割车牌字符。Anagnostopoulos等人[39]首先利用SCW方法对车牌图像进行分割，并通过计算计算水平和竖直方向投影曲线的标准差来分离各个车牌字符，如图1-4所示。张云刚等人[52]提出了一种利用Hough 变换和先验知识的车牌字符分割算法，该方法通过一种新的预处理算法克服噪声的影响。该方法是采用先分段，再用Hough 变换拟合的水平分割方法,去掉上下边框和铆钉的影响，它对旋转角度较大的车牌及光照不均的车牌分割效果都很好，然后采用结合先验知识的垂直分割方法，有效抑制垂直边框和间隔符的影响。其缺点是峰谷位置容易受到各种干扰因素的影响，难以处理质量退化比较严重的图像。为此，形态学分析和连通体分析方法经常结合投影分析方法来分割车牌字符[53-55]。Nomura[53]等人利用竖直投影检测断裂的字符碎片，它将属于同一字符的各个碎片合并在一起，并通过形态学粗化和细化算法分离重叠和粘连的字符连通体。Chang等人[54]利用连通体的组合规则对可能的车牌字符集合进行验证，并切分出有效的车牌字符。

   近年来，有学者还提出了一些新的车牌字符分割算法。Jiao[2]将预定义的车牌格式和候选字符进行匹配，利用动态规划来验证匹配结果是否为真正的车牌区域。Fan等人[50]在投影分析方法的基础上，把字符分割和字符识别表示为一个整体的统计推断问题，它可以同时分离和识别车牌字符，其字符分割结果依赖于字符识别模块的性能。Franc和Hlavac[56]利用隐马尔可夫链对输入图像和对应的字符分割建立随机关系，将字符分割问题表示为最大后验估计问题。Naito等人[57]提出了假设检验方法，它根据置信度对所有可能的候选字符组合进行排队。王兴玲[58]提出一种基于模板匹配的最大类间方差车牌字符分割算法。根据字符串的结构和尺寸特征，设计了车牌字符串模板，该模板在车牌区域滑动匹配进行分类，并采用最大类间方差的判决准则确定最佳匹配位置和分割车牌字符。

根据中国大陆车牌图像的制定规则，所有的车牌字符具有相同的宽度和高度(字符“1”可认为和其它字符有相同的宽度)，并且字符宽度与字符距离之间的比例关系保持不变[12]。为此，本文在投影分析的基础上，提出了一种基于变长模板匹配的车牌字符分割算法。它首先利用车牌边框和字符排列规则进行旋转和剪切校正。然后对车牌图像的水平梯度图像沿水平方向投影，并通过一组不同长度的方波模板对水平投影数据进行匹配，以确定所有车牌字符的上下边界。最后，对车牌图像的垂直梯度图像沿竖直方向投影，并根据字符宽度与字符间距之间的比例关系，设计另一组由7个方波组成的变长模板。利用该模板对竖直投影进行匹配，可以同时求取所有字符的左右边界。该方法利用了所有字符的整体投影特性，能够自适应地处理光照不均匀、尺度变化、透视失真、质量退化、以及背景干扰等因素影响，具有较好的稳定性和抗干扰能力。

车牌字符的格式

根据中华人民共和国公共安全行业标准对机动车号牌（GA36－92）的有关规定，可以总结出车牌的特点。中国的车牌根据颜色划分主。要有以下三种类型：白字蓝底白边框的车牌、黑字黄底黑边框的车牌、红字或者黑字白底黑边框的车牌。按照车牌字符排列分为两种：一行七个字符的车牌和上下两行字符的车牌。部分研究人员对中国的车牌照做了一些归纳总结。

对车牌先验知识的总结归纳如下：

1)车牌是一个长方形，高宽比为409mm:90mm＝4.45:1；

2)车牌字符的高宽比为90mm:45mm＝2:1；

3)车牌字符间有12mm的间隙，其中边框线的宽度为1.5mm。也就是说字符间距是边框线宽度的12mm:1.5mm＝8:1倍；

4)车牌第二个字符和第三个字符间有一个“file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image002.gif”，其它字符之间的宽度和字符宽度比为10mm:45mm＝1:4.5，若删除“file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image002.gif”的话， 车牌第二个和第三个字符间距和其它字符间距比为34mm:12mm＝2.83:1；

5)车牌字符之间的中心距离和高度比为51mm:90mm＝1:1.76；

6)车牌区域是纵向小边缘密集区域，并且车牌字符和背景对比度大；

7)车牌区域颜色搭配类型固定，只有蓝白、黄黑、白黑、红黑、红白五种。

    车辆牌照的先验知识在车牌颜色分割、连通体分析过程中，对条件约束的设定中起到了很大的作用，可以这么说在以上过程中，真正发挥作用的是参数的设定，这也是难点所在。

    在车牌检测过程中经常用到如下有关牌照的先验知识和实验结果：

1)车牌字符的高宽比例在1~3之间(注意：字符“1”的高宽比在3~10之外)。

2)在所拍的车辆照片中，字符像素的聚类面积在10~5000范围内。

3)在所拍的车辆照片中，字符的高度范围在10~200之间，且字符的宽度范围在5~100内。

4)实验所得，包围单个车牌字符的最小矩形中，字符像素所占矩形面积的比例大于10%。

5)实验所得，包围单个车牌字符的最小凸边形中，字符像素所占的凸多边形面积的比例大于10%。

6)车牌区域的总体像素聚类面积，大于数值50。

7)车牌垂直投影分布具有脉冲波分布特性：其中占空比例关系满足 region:gap:key = 45:12:34。

在数字通信中有这样一种匹配滤波器，它使有用信号file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image005.gif增强，同时对噪声file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image007.gif具有抑制作用。当信号与噪声同时进入滤波器时，它会使信号成分在某一瞬时出现峰值，而噪声成分受到抑制。如果在某段时刻内信号file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image005.gif存在，那么此滤波器的输出在相应的瞬间会呈现强大的峰值，如果没有信号file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image005.gif，那么将不会出现峰值。利用这种装置，我们能以最低的错误概率判断脉冲file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image005.gif的有无。具有这种功能的滤波装置，我们称之为“匹配滤波器”。所谓匹配是指滤波器的性能与信号file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image005.gif的特性取得某种一致，使滤波器输出端的信号瞬时功率与噪声平均功率之比值为最大。

在实际问题中，根据信号file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image005.gif的要求设计与其相对应的匹配滤波器。此滤波器的作用在于增强有用信号分量而同时减弱噪声分量，以满足在某一瞬间使输出端信号幅度与噪声幅度之比增至最大。从车辆牌照的基本知识中，可以得知车牌的投影分布，即输入信号file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image005.gif具有脉冲波分布特性。根据这个特点，我们可以设计一系列的脉冲波模板作为系统函数，对车牌投影file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image005.gif进行匹配滤波处理，同时得到相关的定位参数。

车牌图像的几何校正

    在实际的监控场景中，由于拍摄视角或车辆位置的变化，相机光轴经常偏离车牌平面的法线方向，导致车牌图像不可避免地产生透视失真。由于车牌是整幅图像中一个比较小的局部区域，摇动(Pan)和倾斜(Tilt)产生的“纯”透视失真程度相对较弱，各个车牌字符的宽度或高度仅产生微小的变化，可以忽略其对字符分割的影响。因此，车牌图像几何校正的关键在于校正车牌图像的旋转和剪切失真。

车牌区域存在较长的边框，可以用它来求解图像的旋转角度。但在实际环境中，车牌边框容易受到锈迹、污迹、变形等因素的干扰，造成车牌边框的断裂或缺失，从而影响旋转校正的精度。另一方面，车牌字符内含有丰富的边缘特征，它也可以为求解旋转角度提供重要的依据。为了适应各种质量的车牌图像，本文综合利用边框和字符边缘，提出了一种边缘投影差分的方法来估计旋转角度。该方法在一定角度范围内旋转车牌图像，并对每幅图像进行Canny边缘检测，用file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image009.gif表示旋转角度为file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image011.gif时得到的边缘图像，对其沿水平方向计算差分绝对值

对于车牌边框破损严重的情况，该投影在行方向的差分数据在车牌字符的上下边界位置有比较大的峰值或谷值

该旋转校正方法具有较宽的适应范围和较高的精度，能够较好地克服车牌边框的质量退化的影响。

在许多情况下，车牌图像还存在不同程度的剪切失真，并导致边缘图像的竖直投影曲线趋向于平缓。为此，本文在一定剪切角度的范围内，计算边缘图像在竖直方向上投影的方差，并利用其峰值位置估计剪切角度。

估计上下边界

车牌字符含有丰富的竖直方向的边缘信息，它可以用来确定车牌字符的上下边界。由于车牌图像容易受到光照不均匀的影响，本文对经过旋转和剪切校正后的车牌图像，计算其水平方向的梯度，它还可以避免车牌上下边框和其它非字符区域的干扰。

由于车牌字符都具有相同的高度，对梯度图像进行水平方向投影后，字符区域有比较大的投影值，并且在上下边界附近的投影值存在剧烈的变化。

传统投影方法在车牌图像质量退化比较严重的情况下容易产生切分错误。为了有效处理退化因素的影响，本文根据投影数据的特点，采用方波模板对投影数据进行匹配。由于事先不知道字符高度的精确大小，因此可在一定的字符高度范围内设计多个不同大小的方波模板

估计左右边界

根据中国大陆车牌图像的制定规则，标准车牌有7个字符，首位为汉字，次位为英文字母，接下来的5位是英文字母或阿拉伯数字。其中单个字符的宽度都为45mm，高90mm，第2、3个字符间间隔为34mm，其余字符间隔为12mm。由于透视失真对车牌图像的影响较弱，对于经过旋转和剪切校正后的车牌图像，可认为相邻车牌字符之间的距离的比例关系保持不变。为此，本文根据字符宽度和间隔设计一组由7个方波组成的模板，通过对竖直投影进行模板匹配来确定字符宽度和左右边界。

传统的投影分析方法根据投影曲线的峰谷特性进行逐个字符的分割，而没有从整体上考虑车牌字符的投影特征，很容易受到各种干扰因素的影响。

与求解车牌字符上下边界的过程类似，file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image013.gif的最大值对应的file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image015.gif和file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image017.gif即为最佳模板长度和最佳匹配位置。根据字符宽度和字符间距之间的比例关系，即可得到所有车牌字符的左右边界。

变长模板匹配方法综合利用了所有车牌字符的投影特征，能够同时确定车牌字符的宽度和位置，因而具有较强的稳定性和抗干扰能力，如锈迹、污迹、噪声、铆钉等。另一方面，由于车牌的非线性变形、几何校正误差、方波模板长度的舍入误差等因素的影响，某些字符边界可能会存在微小的误差，为此，可在较小的局部范围内对字符边框进行移动，并根据边框内梯度之和的最大值来估计车牌字符的最佳位置。

实验结果

为了测试基于变长模板匹配的车牌字符分割算法的效果，本文分别对不同场景中的500幅车牌图像进行测试，这些测试图像包括了影响字符分割效果的几种主要因素，如光照不均匀、尺度变化、透视失真、质量退化、以及锈迹、污迹、噪声、铆钉等。

结论

本文根据车牌字符的几何特征和排列规则，设计了两组不同长度的模板，分别对水平和竖直方向的梯度投影数据进行模板匹配，从而找到所有车牌字符的最佳切分位置。该算法能够避免传统峰谷值分析的缺陷，可以自适应地处理光照不均匀、尺度变化、透视失真、质量退化、以及背景干扰等因素的影响，从而有效地分割出车牌字符的精确边界。此外，变长模板匹配方法还可以对车牌区域的有效性进行验证，从而提高了车牌识别的整体性能。

图灵视控（北京）科技有限公司

地址：北京市海淀区中关村东路95号自动化大厦

技术服务电话：4008-035-305

在线QQ客服：2298282530