机器学习和视觉技术在轮毂型号识别系统中的应用

图灵视控

摘要：为了满足摩托车、汽车关键零部件的柔性精密加工的需求，通过对轮毂的各加工工序阶段的学习和视觉技术应用，提出了一种轮毂型号识别系统。图灵视控(www.turingvision.com)根据自身的视觉图像处理算法优势结合机器学习系统技术，研发了轮毂型号识别系统。

0 引言

汽轮、摩轮轮毂制造行业是典型的多批次、小批量的离散型传统加工制造业。由于客户个性化定制要求，导致生产现场混型化比较普遍。混型生产必然要求加工厂实现柔性加工的自动化产线，以期提升企业的加工效率和加工质量。基于上述要求，中科图灵提出了一种基于机器视觉和机器学习的轮毂型号识别系统。

1机器视觉系统

机器视觉，就是用机器代替人眼来做测量及判断。具体来讲，是指通过镜头将被测目标反射出的光信号，投射至影像接受器件（一般为CCD元件）上形成数字图像信号，再通过计算机进行分析处理。CCD是英文（Charge Coupling Device）的缩写，其中文含义为电荷耦合组件。当不同强度的光线照射在CCD表面，CCD即发生光电效应，产生对应分布的电荷量，再通过模数转换即可得到对应的数字量。由于一般均采用8位模数转换，则最低强度光线（黑）到最高强度光线（白）分成256等分（0~255），专业术语称之为灰阶或灰度。对应的彩色CCD则是可以实现对应每像素采集到RGB三色的数字量信息。

当计算机从CCD端取得一幅完整影像后，根据系统的灰阶设定，通过滤波、降噪、阈值分割、二值化处理、连通域分析等一系列必要的数字图像处理技术，得出影像中指定部位的准确轮廓，以及特定的局部的信息，利用这些信息可以准确的提取出图像中的轮廓构成，从而得出隐含在图像中的信息。

从图像中还可以计算得出指定位置的像素距离；使用标准量块对图像中每像素距离所对应的物理尺寸进行标定，得出换算系数。最终可精确计算出指定测量的物理尺寸数值。

机器视觉系统的特点是测量精确、稳定、快速、可大幅度提高生产的柔性及自动化程度以提高生产效率，且易于实现信息集成，是实现计算机集成制造的核心技术之一。如在一些不适合人工作业的危险环境；在当前大批量工业自动生产过程中，用人工检查产品质量效率过低且精度不高；和其他一些人工视觉难以满足要求的场合，机器视觉正在迅速取代人工视觉。事实上，也正因如此，在世界上现代自动化生产过程中，机器视觉已经广泛用于工况监控、成品检验、引导定位及其他质量控制等领域。在我国，这种应用也逐渐被认知，对机器视觉的需求也越来越多。

2轮毂型号识别基本原理

采用机器视觉技术，实现对于待加工轮毂型号的自动识别。对于传送线传输过来的轮毂，视觉系统进行拍照获取有效的轮毂图像。通用的视觉算法调取轮毂型号数据库信息，根据预先学习设定的轮毂型号特征信息与所获取的当前轮毂图像信息进行比对，根据比对结果判断当前轮毂的型号。

传统的型号识别系统的主要工作过程包括：建模、正常采集图像、对象相关性比对、获取解析结果。建模是利用图像采集平台对待检测的轮毂进行初始模板的采集过程，在绝大多数系统中都需要人工对建模的图像进行手工的特征提取以便于后续的识别过程。

传统的视觉识别系统主要采用的是图像的像素比对获得整体图像和建模图像的相关性，相关性最高的就是优先级最高的型号结果。这就意味着我们初始建模的类型越多，后续的算法则越复杂，对应的识别的效率则随之降低。

传统的视觉算法的另一个局限性在于对待检测轮毂的检测精度随着加工差异性而受影响。例如传统视觉算法会受到外部光线的干扰、轮毂的姿态、轮毂的批次差异、光源的衰减、镜头的脏污的影响。所以传统的视觉识别系统需要定期的调整光源亮度、清洁镜头。对产品的均一性要求，对产品进入图像采集系统之后的姿态的要求都很高。如果不满足上述要求，则识别率会急剧的降低甚至误识别造成后续的加工异常。

传统的型号识别系统还有另一个局限性在于同时识别的轮毂的型号对于运算复杂度的影响会极大的降低识别效率，目前主流的解决方案是通过限制识别型号的范围来提高识别效率。

3关键处理技术简述

3.1摄像头标定技术

3.1.1摄像头标定是准确测量目标物体的必要过程，原因如下：

1)       所有工业镜头成像均存在不同程度的畸变，从而给精确图像分析引入初始误差，必须通过摄像头标定来解决该畸变所带来的成像误差。

2)       通过摄像头标定，才能准确得知被测物体物理尺寸与成像后的像素尺寸之间的对应关系，即图像中每个像素代表世界坐标系中目标物体的米制单位尺寸。

31.2摄像头标定操作

具体操作时，使用标准标定块在所需的物距上进行成像，并精确测量和记录多个标定点在世界坐标系中的坐标，以及在图像中的像素坐标，按下述原理和公式进行计算，最终得出精确的标定模型并保存在系统中。

3.1.3标定原理与计算

摄像头成像过程，是三维空间点从世界坐标系投影到摄像头坐标系，再投影到成像平面坐标系中的过程。

3.2模板匹配技术

3.2.1概述

在视觉系统的实际应用场景中，经常需要从获取图像中找出感兴趣的待测物，此时通常会有两种情形发生：一是当前待测物的精确尺寸、形状等，与标准品之间存在一定的差异；二是待测物在拍照窗口中出现的位姿、数量各不相同。为了解决上述问题，我们在本系统中引入了模板匹配技术。

模板匹配技术就是通过提前对标准品图像样本进行指定参数的学习与归纳，最终形成一个模板图像和参数集，用来描述被测物。进而在实际待测图像中，就可以结合模板图像和参数集来找出符合相似度阈值条件的被测物。

一般情况下，通过对实拍图像的运算，所得到的归一化互相关系数的绝对值越大，就表示模板与正在检测的部分图像之间越接近，其绝对值越接近零，就表示模板与图像越不一致。在本系统实际实现中，为了提高系统效率，我们引入了一种更快的搜索策略，通常被称为图像金字塔结构策略，对模板和图像进行二次抽样的迭代对比计算，并利用递减缩小倍数和平滑图像方法来消除抽样带来的锯齿影响，此金字塔策略在本文中不做详述。

3.3软件图像训练自学习技术

3.3.1概述

基于轮毂生产过程中的批次偏差以及工业生产现场的恶劣的环境的影响，同一型号的轮毂甚至同一个轮毂在图像采集的过程中都会因为各种干扰如：外部光线的影响、轮毂姿态差异的影响、图像采集系统衰变的影响而存在较大的偏差。而不同批次的生产差异以及更为致命的返修轮毂的差异甚至比不同型号轮毂之间的差异更大。这些都极大的降低了幸好识别系统的鲁棒性。

为了提升系统的实用性中科图灵创新性的把机器学习软件融入到型号识别系统，从而解决了传统型号识别系统的固化比对技术，赋予了型号识别系统一定的学习能力从而解决了系统对干扰的鲁棒性

3.2.2基于机器学习的软件

机器学习作为一门新兴技术目前在各个新兴的技术领域都获得一个爆发性的发展。尤其是谷歌的alphago在围棋领域战胜专业棋手之后，让全球都对人工智能的未来报以更为乐观的规划。机器学习本身是依赖软件算法通过海量数据的训练从不同路径提取更多有效信息，并通过高效的运算来规划出远超传统固定流程软件的执行能力。赋予了软件一定的智能决策能力。而正是这一点突破让我们获取了以往软件无法企及的智能。

在中科图灵的视觉系统中正是依赖海量的数据的训练让本系统对于同一型号的轮毂不再依赖单幅的建模图像的匹配来获取型号数据。对同一型号的轮毂的多角度、不同光源场景下的图片。由此可以实现对同一型号轮毂的多个识别领域的全方位综合结果，大幅度提升识别的精度。

3.2.2机器学习算法的应用

本系统中机器学习算法主要是基于深度数据挖掘和决策树机制来应对本文提到的传统机器视觉算法的核心难点。

1、针对同一型号轮毂的不同批次的产品外观差异、颜色差异、新品与反修品的差异我们对上述不同场景下的轮毂进行分别建模与学习，让软件可以智能的适应不同场景并且自动分析当前图片对应的特殊场景。

2、针对同一轮毂进入图像采集单元的姿态主要包括轮毂水平面存在的倾角问题造成的轮毂的图片差异，软件自适应的判断出当前图片中轮毂的角度姿态的差异而准确适应识别要求的问题。

3.4 智能加速算法的应用

3.3.1概述

由于采用了深度学习的算法后整体运算的复杂度大大的提升，因此为了提高系统的整体运算效率需要对算法的复杂度进行优化加速，这就离不开一些硬件加速单元的优化。在本系统中主要采用硬件嵌入式加速引擎来解决我们系统的运算效率问题。

3.2.2嵌入式加速硬件引擎

该架构适应性能较为简单，且不需要大规模复杂运算的方案。ARM作为整体系统的主CPU负责整体系统的人机界面等调度。DSP单元或者FPGA单元根据具体的需求可以任意的添加或者删除。具体的算法由DSP负责调度，FPGA作为DSP的硬件加速器协助DSP 完成一些并行运算量大的单元。图灵根据自身的算法IP,已经实现了所有的算法IP的已经verilog化，供系统灵活调度。

利用FPGA实现机器视觉算法相较于传统软件实现具有先天优势。FPGA可定制实现硬件加速运算，可进行大数据的并行运算，同等的算法由FPGA实现相较于软件提升的速率在数倍至数十倍之间。图灵提供了丰富的基于VERILOG实现的RTL IP。图灵提供的软硬件结合的整体解决方案，为客户提供了丰富并且灵活的二次开发资源。图灵的所有RTL IP都是基于总线结构挂在GIGE接口下面，可以直接调用函数模式调用硬件单元，而不需要客户了解硬件底层。

算法系统平台化，图灵对于自身的视觉算法软件以及硬件IP实现了平台化。使用者无需详细了解算法底层，只是根据需要了解模块的基本功能，直接调用即可，所有的接口以及配置等由系统平台直接实现。

基于上述平台系统的强大硬件加速运算能力和图灵平台化的系统架构，我们团队可以为行业提供远超一般基于CPU的算法效率和精度的能力。

FPGA作为DSP的硬件运算加速引擎，采用EMIF接口映射的方式实现与DSP之间的通信。利用FPGA实现机器视觉算法相较于传统软件实现具有先天优势，FPGA可定制实现硬件加速运算，可进行大数据的并行运算，同等的算法由FPGA实现相较于软件提升的速率在数倍至数十倍之间。

图灵在研究总结大量工业自动化现场及机器视觉系统应用现状的基础上，创新的提出了智能相机+服务器端的应用模式，该服务器主机可灵活安装在企业内任何位置，使用千兆网络与多个智能相机终端进行连接；服务器可以方便灵活的管理、控制各个智能相机终端及其上传的各类信息，也可以协助智能相机对采集到的现场图片进行复杂运算，并就处理结果与各个智能相机终端进行通信，用户还可以很方便的通过服务器与图灵工程师进行在线互动，由图灵为用户提供算法升级、更新等一系列技术支持服务。服务器端采用更为安全稳定的linux系统，可以保证系统及软件的长时间稳定运行。

6系统优势

本系统实现核心基于机器视觉技术，集精密制造、测量技术、计算机技术、光电技术、机器学习等多种技术于一体，具有以下显著优势：

1) 非接触性测量，不会对工件造成永久性损伤

2）测量速度快，单轮毂从拍照到生成加工中心程序不到2秒

3）自动适应不同型号轮毂

4）稳定性好，抗干扰能力强，在工作过程中不受外部光线、油污、碎屑等影响

5）多角度综合得出型号信息，大幅度提升识别准确度

6）类似AI的数据挖掘和机器学习提升识别的精度

7）基于FPGA的硬件加速引擎可以实现更高复杂度的算法的高效运行

7结论

该系统的研发成功，极大的满足了客户对于轮毂混型加工的生产效率要求。自动识别轮毂型号，指导系统自动加工的智能化实现，稳定可靠地解决了客户小批量多型号的混型加工生产自动化的轮毂型号识别需求。

中科图灵视控（北京）智能科技有限公司

地址：北京市海淀区中关村东路95号自动化大厦

技术服务电话：4008-035-305

在线QQ客服：2298282530

技术服务邮箱：service.tuling@turingvision.com