基于最近邻链的车牌检测算法

图灵视控

车牌图像分割

中国大陆地区的车牌字符由一个汉字和六个字母或数字组成，并且所有字符都具有相同的高度或宽度(数字“1”除外)。从字符结构上来讲，字母或数字都属于独体结构，所有笔画都相接或相交；而绝大部分的汉字则属于非独立结构，笔画之间相离的情况较多。在理想情况下，字母和数字分割为单个连通体，而汉字则分割为多个连通体。在不考虑汉字的情况下，如果能够检测到某个局部区域连续出现6个宽度和高度的连通体，则该区域很可能为车牌区域。而在背景区域内重复出现多个高度或宽度都相近的连通体的概率非常低，所以该方法可以有效地滤除绝大部分的背景干扰。

车牌分割应该能够尽可能分割出完整的车牌字符连通体，它对最近邻链的构造具有非常重要的作用。由于车牌图像容易受到消除光照不均匀的影响，因而本文采用Nibalck自适应阈值方法进行图像分割

         

由于拍摄位置变化、摄像机的分辨率等因素的影响，车牌尺寸大小经常发成较大的变化，特别是在视场范围较大的场景中，可能包含多个大小不一的车牌区域，因此要求车牌检测过程能够较好地自适应处理各种尺度的车牌图像。

高斯函数的方差file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image002.gif能够较好地反映字符线段的空间尺度变化，选择合适的file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image002.gif即可有效地检测一定线段宽度范围内的车牌字符。

最近邻链构造

由于拍摄视角或车辆位置的变化，车牌图像在获取过程中会产生透视失真，但车牌区域相对较小，相邻车牌字符的宽度或高度仅产生微小的变化。因此，可以通过连通体分析可以检测出若干个高度或宽度都比较接近的相邻连通体，并将这些连通体构成一个最近邻链，从而检测出所有可能的车牌区域。

对于二值图像中的所有连通体，在其右侧的一定角度和距离的范围内，寻找高度和宽度都比较接近的连通体。如果有一个这样的连通体，则认为这两个连通体构成一个最近邻对；如果有多个这样的连通体，则取距离最近的连通体构成最近邻对；如果没有这样的连通体存在，则当前连通体划分为干扰连通体，并将其从二值图像中删除。背景区域连续出现多个高度和宽度都相近的连通体的概率比较低，因而它可以消除大部分背景干扰。

字符宽度和高度信息在车牌检测过程中有比较重要的作用，而最近邻链方法可以自适应地统计车牌字符连通体的高度和宽度，因此它能够较好地检测各种尺寸大小的车牌区域，并可以为字符分割提供了比较重要的参考。将所有不能构成最近邻对的连通体全部删除，从而可以消除大量的背景干扰。另一方面，由于噪声、铆钉、锈迹、泥点等因素的影响，部分车牌字符在图像分割过程可能会产生粘连或断裂，并被误认为干扰连通体而从二值图像中删除。因此，本文把所有长度在2以上的最近邻链都当作一个可能的车牌区域。要消除虚假的车牌区域，还需要采用进一步对各个最近邻链所覆盖的矩形区域进行验证。

考虑到车牌字符的断裂、粘连、以及旋转的影响，最近邻链通常不会包含所有的车牌字符。因此，本文根据车牌区域的几何规则和最近邻链的平均高度，选取一个稍大的图像区域以完全覆盖整个车牌。在质量较差的图像中，最近邻链可能只包含两个字符，并且无法确定其出现的位置，这种情况可以分别向左和向右延伸file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image004.gif的距离。考虑到旋转的影响，还需要分别向上和向下分别延伸file:///C:/Users/DIY/AppData/Local/Temp/msohtmlclip1/01/clip_image006.gif的距离。这种情况需要在字符分割步骤进行精确定位。

最近邻链方法检测出的候选车牌区域既包括真正的车牌区域，也可能包含有背景干扰造成的背景区域。因此需要进一步对车牌区域的有效性进行验证，通常可采用边缘密度、颜色、纹理等多种特征进一步验证车牌区域的有效性，以消除部分虚假的车牌区域。对于车牌图像而言，通常其竖直投影分析的最大相关系数都在0.5~0.8之间；对于非车牌的背景区域，几乎不可能出现与竖直模板形状类似的竖直投影曲线，与之相对应的最大相关系数通常在0.2~0.4之间。本文将竖直投影的最大相关系作为车牌区域的验证系数，投影匹配方法不但可以验证车牌区域的有效性，还能够求解所有车牌字符的边界，从而提高了车牌识别系统的整体性能。

实验结果

对于质量较好的车牌图像，现有的许多车牌检测算法都能够取得较好的效果。为了测试最近邻链方法的检测效果，本文特意从不同场景中挑选了500幅存在各种干扰的图像进行测试，其中车牌字符的线段宽度变化范围为2~9个像素，字符高宽比为0.9~2.2。这些测试图像包括了影响车牌检测效果的几种主要因素，如车牌尺寸变化、透视失真、光照变化、复杂背景、车牌质量退化等。

光照不均匀对车牌检测的影响主要体现在图像分割和车牌验证步骤。从实验结果可以看出，本文的阈值分割方法可以较好地处理各种光照不均匀的情况，能够分割出比较完整的车牌字符。此外，只要车牌字符之间的几何特征相似，最近邻链方法可以应用于不同国家的车牌图像的检测。其中，左边车牌图像的验证系数为0.600；由于无法知道国外车牌的几何参数，右边图像本文没有进行车牌验证和字符分割步骤。

背景干扰容易使非车牌区域误检测为车牌区域。在有些区域会出现若干个与车牌字符类似的连通体区域，并能够构成最近邻链。但这些区域的字符排列规则与车牌字符有较大区别，因此通过车牌验证步骤可以较好地消除这些背景干扰。

车牌图像质量退化主要包括散焦和运动模糊、锈迹、污迹、噪声、分辨率较低、字迹褪色等因素。对于本文的车牌检测算法而言，质量退化对最近邻链方法的影响主要在图像分割步骤。对于退化程度比较高，车牌字符连通体破碎程度较大的情况。

现有的多数车牌检测算法都有相应的适用环境，对不同的测试图像集其检测效果可能会有比较明显的差异。另一方面，目前还没有一个国际公认的比较好的测试图像库，并且各种检测方法的实现细节难以完全复现，这也给不同车牌检测方法进行客观的对比实验带来了困难。事实上，本文在车牌检测算法的前期研究中，对边缘和颜色特征同样进行了大量的实验，发现边缘特征主要受背景干扰和尺度变化的影响较大，而颜色特征则主要受光照的变化影响较大。

从以上实验可以看出，最近邻链方法有效地利用了车牌字符的几何特征和空间的排列规则，能够较好地处理车牌大小变化、透视失真、光照变化、复杂背景、质量退化等因素造成的不利影响，并给出精确的车牌字符分割结果。但对于退化程度比较大的车牌图像，该方法难以检测到正确的车牌区域。在500幅实验图像中，有8幅图像因车牌区域太小和退化严重而导致检测失败。另一方面，如果能够结合颜色、纹理、边缘等特征来验证车牌的有效性，最近邻链方法够取得更好的检测效果。

结论

本文提出了一种基于最近邻链的车牌检测算法。该方法首先利用自适应阈值算法进行图像分割；然后，根据车牌字符的几何特征和排列规则构造最近邻链，从而检测所有可能的车牌区域；最后变长模板匹配方法对车牌的有效性进行验证，并给出精确的字符分割结果。最近邻链方法还具有较好的可扩展性，并且容易与其它车牌特征较好地结合，如颜色、纹理、边缘等。实验表明，该方法可以较好地处理车牌大小变化、透视失真、光照变化、背景干扰、以及图像质量退化等因素的影响，具有较好的检测效果和鲁棒性。

图灵视控（北京）科技有限公司

地址：北京市海淀区中关村东路95号自动化大厦

技术服务电话：4008-035-305