机器视觉技术在智能制造中的应用和分类

机器视觉技术采用机器视觉产品，即图像采集设备将采集到的目标转换成图像信号，传输到专用的图像处理系统，根据像素分布、亮度、颜色等转换成数字信号。信息。 图像系统对这些信号进行各种运算，提取目标的特征，然后根据判断结果控制现场设备动作。

机器视觉技术作为工业之眼，是智能制造和工业4.0时代实现工业自动化、智能化、互联化的必要技术手段之一。 近年来，机器视觉技术在汽车制造行业得到广泛应用，自动缺陷检测、智能识别、智能测量、智能检测和智能互联正在快速发展和迭代更新。 机器视觉技术是人眼在机器上的延伸。 它是用机器代替人眼进行测量和判断的综合技术。 它易于信息集成，是实现计算机集成制造的基础技术。

机器视觉技术的作用是提高质量检测的可靠性，提高生产效率、生产柔性和生产自动化。 在危险的工作环境中，它可以代替人工视觉进行目视检查，从而满足制造过程的人体工程学要求。 需要。 机器视觉技术的主要作用主要集中在以下八个方面。

A。 生产过程自动检测，提高生产效率；

b. 质量改进和质量保证；

C。 改进生产流程并改善人体工程学；

d. 零件精确测量；

e. 柔性化、一体化生产；

F。 生产过程监控；

G。 降低生产成本；

H。 缩短产品进入市场的周期时间。

2 机器视觉技术在智能制造中的应用及分类

机器视觉技术是人工智能在汽车制造领域实施中不可或缺的一部分。 随着科学技术的快速发展，在智能制造和工业4.0时代，机器视觉技术在汽车制造业中的应用比例将越来越大。 。

2.1 机器视觉在智能制造中的主要应用

目前，机器视觉技术主要广泛应用于电子及半导体、汽车制造、医药制造等领域。 其中，在电子及半导体领域的应用约占47%，在汽车制造领域的应用约占16%，在医药制造行业的应用约占47%。 应用约7%，其他行业应用约30%。 随着汽车电动化、网联化、智能化、共享化浪潮席卷全国，机器视觉在汽车制造领域的应用越来越广泛和深入，应用比例越来越大。重要的。 它在汽车智能制造中发挥着重要作用。 工业上的主要应用如下。

A。 指导和定位。 一般采用3D视觉精准定位，引导机械臂寻找物料位置，抓取物料并放置在指定位置进行装卸作业；

b. 外观检查。 这是最能代替人眼的环节，代替人眼检查零件是否有缺陷，如加工过程中的划痕、碰伤等缺陷，以及过度安装、漏装、错装、装反等缺陷装配过程中的安装；

C。 高精度检测。 测量是工业的基础。 0.01~0.02毫米甚至微米的高精度零件，人眼无法识别，必须用机器识别；

d. 智能识别。 处理、分析和理解图像，识别目标对象，以及跟踪和收集数据。 应用大数据快速融合，在海量信息中发现关键特征。

e. 智能互联。 主要应用是汽车无人驾驶技术，将智能制造场景中的操作人员、工艺设备、生产物料、生产环境等数据互联互通，通过深度学习、智能优化、智能预测展现工业4.0的力量。

2.2 机器视觉与人类视觉的区别与联系

如表1所示，机器视觉技术与人眼相比具有许多优点和差异，这也是其在流程制造领域广泛应用的重要原因。

2.3 工业应用视觉相机分类

机器视觉主要使用工业相机。 目前，世界上知名的工业相机制造商有康耐视（）、NI（NI）、班纳（）、基恩士（）、欧姆龙（Omron）、松下（）、加拿大达尔萨（Dalsa）、瑞士堡盟（）等公司。瑞士）等公司，汽车行业目前主要使用美国康耐视和日本基恩士相机。 如图1所示，工业相机主要分为以下几种。

图1 工业相机主要分类

3 机器视觉系统

图2 机器视觉系统主要组成

如图2所示，机器视觉系统主要由图像采集单元、图像处理单元、图像处理软件、网络通信设备等组成。图像采集单元相当于CCD或CMOS相机和图像采集单元。卡，将光学图像转换为模拟或数字图像并输出到图像处理单元； 图像处理单元类似于图像采集处理卡，对来自图像采集单元的图像数据进行实时处理。 存储，并利用图像处理软件进行图像处理； 图像处理软件主要在图像处理单元硬件环境的支持下完成图像处理功能； 网络通信设备主要完成控制信息和图像数据的通信任务。

3.1 图像采集单元

3.1.1 光源

机器视觉中光源的主要作用是构建充足的成像环境，保证光线稳定，可以用来突出被识别物体的颜色； 照亮目标，提高目标的亮度； 形成最有利于图像处理的成像效果； 克服环境光干扰，保证图像稳定； 用作测量工具或参考等。机器视觉的照明源可分为卤素灯、白炽灯、氙气闪光灯、激光灯、荧光灯和发光二极管。 其中发光二极管体积小、功耗低、寿命长、响应快、运行成本低、性价比高。 因其无毒、环保、可制成各种形状、尺寸和各种发光角度等优点而被广泛应用。

3.1.2 工业相机镜头

工业相机镜头是获取图像的工具。 根据感光原理不同，可分为互补金属氧化物半导体（CMOS）和电荷耦合器件（CCD）。 将光学图像转换为数字信号的半导体元件厂一般采用CCD（使图像更有利于后期处理）并稳定地获取信息。 如图3所示，镜头按照视场角、镜头光圈、焦距和接口主要分为以下四类。

图3 工业相机镜头分类

镜头的主要技术参数是焦距（EFL）。 短焦距提供广角视野，长焦距提供长焦视觉； 视场角（FOV），也叫视场角，相机实际拍摄的区域大小，主要与元件尺寸和相机元件之间的工作距离、镜头类型等有关， FOV = 传感器尺寸/光学放大倍率； 放大倍数（）也叫光学放大倍数，像高与物高的比值，CCD/FOV，即芯片尺寸除以视场范围； 景深代表清晰焦点的范围，指物体在焦点对准时的运动范围； 镜头接口（Mount）是镜头与相机之间的连接方式，常用的有C、CS、F、V、T2、Leica、M42x1、M75x0.75等。C口是常用的接口用于工业镜头； 目标面尺寸为感光元件的对角线尺寸； 清晰度是分辨率和对比度综合表现的结果，分辨率代表了镜头记录物体细节的能力，分辨率越高，图像越清晰； 光圈数（F.No） F数是通过镜头的光量的表达。 F值越小，通过的光越多。 F值是焦距与有效开口的比值。 F.No=EFL/D。 镜头的光圈大小决定了图像的亮度。 用于拍摄高速移动物体和需要短曝光时间的应用。 ，应采用大光圈镜头，以增加图像亮度。

3.1.3 照明技术

明场和暗场。 明视野是直接接收反射光，暗视野是接收散射光，暗视野可以观察物体的轮廓并揭示一些结构问题。

接触。 正常曝光是指既不曝光过度也不曝光不足，曝光过度意味着拍摄的照片非常亮，曝光不足意味着拍摄的照片非常暗。 偏振技术、偏振器和偏振光。 用于减少眩光或镜面反射，控制闪亮组件的镜面反射量，改变光通过偏振器的传播方向，并与镜头前面的分析胶片结合使用。 优点是可以将镜面反射和漫反射分开。 缺点是由于有偏光片，需要较高的光强度。

3.2 图像处理单元

图4 图像处理流程图

如图4所示，图像处理过程大致分为四个步骤：首先是拍摄，按下快门，拍照； 第二步是传输，将摄像头的图像数据传输到控制器； 第三步是加工。 分为预处理，即对图像数据进行处理，使其特征更加明显；计算处理，根据图像数据计算损伤、尺寸等； 第四步是输出结果，将处理结果以信号的形式输出给所连接的PLC等控制设备。

以康耐视相机为例，图像处理方法包括模式匹配（ ）、直方图（ ）、寻找边缘或片段（Find Line/）和斑点（Blob）。 模式工具用于训练模式特征并将图像与模式库进行比较，以验证或识别图像中的特定模式特征。 该工具主要用于确保生产线上运行的产品的正确性，或者识别哪个产品正在正确运行并将该信息传达给其他车间设备。 相机的接受阈值用于定义模型模式和找到的模式之间必须存在的相似程度。 图案独立于像素网格，并通过表示图像中不同区域之间的边界的轮廓来表征。 基于特征的表示比像素表示转换得更快、更准确。 它是一种有效的模式定位搜索技术，可以处理旋转和角度变化，还可以考虑或忽略附加特征。

直方图可用于确定该功能是否存在以及是否存在缺失安装。 直方图搜索框中明暗像素的总数（像素是图像的最小信息单位），分数代表搜索框中白点或黑点的数量，如图5所示是位置相机直方图红圈内为二元变速箱油泵和油封总成部分。 本站摄像头利用柱状图检测油泵、油封总成零件是否缺失。 为了防止出现故障时进行补充检查，采用二值化处理方式，当有油泵油封部位时，为黑色，当没有油泵油封部位时，该区域为纯白色（阈值设置为40，得分小于40分，认为油泵油封件无泄漏，检测合格；得分大于40分，则判定检测结果为油泵油封件缺失。这里代表搜索框中白点的数量）； 边缘函数用于搜索区域内的边缘特征； 点工具用于查找一组高灰度值。 一组（低于）指定阈值的像素。 该功能用于在黑暗背景上寻找亮点。

图5 相机直方图二元油泵油封特性

3.3 信息通信单元

工业相机常见的接口类型主要有模拟接口、Usb2.0、1394a、1394b、CigE等。目前汽车制造行业现场生产使用的相机主要采用以太网()通信。

4 种机器视觉算法

二值化算法。 灰度采用 RGB（红、绿、蓝）模型。 如果R=G=B，则该颜色代表灰度颜色，R=G=B的值称为灰度值。 因此，灰度图像的每个像素只需要一个字节来存储灰度值（也称为强度值和亮度值），灰度范围为0~255。 一般情况下，常用加权平均的方法来获取每个像素点的灰度值。 图像的二值化就是将图像上像素的灰度值设置为0或255，这意味着整个图像呈现出明显的只有黑白的视觉效果。 在数字图像处理中，二值图像占有非常重要的地位。 图像的二值化大大减少了图像中的数据量，从而突出了目标的轮廓[7]。 在汽车制造过程中，如发动机和变速箱涂胶的照相检查、钢板冲压号码的照相检查等，均采用二进制算法进行处理。

缺陷（缺陷）检测算法。 相机通过将区域划分为多个部分来检测该区域的阴影，并对每个部分进行比较和检测。 这可以检测差异较大的部分（由浓度差异确定）。 亮度工具根据特征的平均灰度值确定特征是否存在。 适用于良好元件的特征明显比不良元件的特征更暗或更亮的情况。 通过对产品进行X、Y、XY、半径、圆周等任意方向的扫描，可根据检测对象选择段的大小、方向、比较间隔、移动量等。 缺陷等级用颜色（深蓝→浅蓝→绿→黄→红）表示，可以二维形式确认缺陷的范围和分布。 在汽车制造过程中的应用实例主要包括根据明暗来判断是否有加工孔、发动机和变速箱安装件是否安装、螺栓是否缺失、是否有加工刀痕等。

深度学习和机器视觉。 深度学习是机器学习的一个领域，可以让相机软件得到训练并具备学习能力。 深度学习可以通过人工神经网络等架构来完成，人工神经网络通过处理数据和创建决策模式来模仿相机软件。 人脑如何运作。 在深度学习算法出现之前，视觉算法大致可以分为五个步骤：特征感知、图像预处理、特征提取、特征筛选、推理预测和识别。 康耐视相机基于一组最先进的机器学习算法，使用深度学习作为传统机器视觉的补充。 该系统通过样本进行训练，以区分可接受的变更和缺陷。 它专为工厂自动化应用而设计。 它是一个经过广泛测试和优化的可靠软件解决方案。 深度学习算法也用于自动驾驶汽车技术。

卷积神经网络（CNN）和机器视觉。 卷积神经网络（CNN）通常用于机器视觉，它是对人脑的更准确的模拟。 事实上，在机器视觉中，卷积可以看作是一个抽象过程，就是对一个小区域内信息的统计进行抽象。 图像中不同数据窗口的数据与卷积核（滤波器矩阵）的内积运算称为卷积。 计算过程也称为()。 卷积的本质是提取图像不同频段的特征。 如果卷积神经网络的深度太浅，识别能力往往不如一般的浅层模型。 但如果做得很深，就需要大量的数据进行训练，否则机器学习中的过拟合就不可避免。

5 机器视觉技术在汽车制造行业的应用

5.1 机器视觉技术在汽车发动机制造过程中的应用

在发动机制造过程中，机器视觉可以应用于以下场景。 缸体和缸盖上下线，机器视觉引导机械手将缸盖抓取到自动导引车（AGV）上或从自动导引车（AGV）上取下缸盖。

检验滚筒上钢印号码的印刷质量。 如图6所示，主要检测原理是利用OCR字符检测功能建立字符库。 检测时，根据字符库的内容进行字符比较，将字符与PLC提供的字符进行比较。 当摄像头拍照时，检测到字符戳号与代码块中的EUN码不一致时，摄像头会报警，发动机会进入维修分局或维修区。 为了减少机器视觉检测过程中的误报，需要注意以下事项。

A。 使用定焦镜头，提高摄影的稳定性；

b. 在相机程序中，“分段读取并比较”比“整体读取并比较”更能提高检测精度。 推荐使用前者；

C。 滚筒印章表面有水渍、油渍、铁锈、杂质等，会影响照相检测效果，保持钢印表面的清洁度；

d. 被盖号码的盖印头的反射和位置不稳定都会影响照相检测效果。 编号头需要涂黑，防止反光，保持位置稳定，或者拍照软件程序设置延时拍照；

e. 印章字符质量的稳定性会影响拍照检测效果，拍照软件需要深度学习不断训练模板。

图6 发动机钢印号机器视觉检查

缺少零件或型号检查。 检查过程是检测零件的存在和型号。 如果零件缺失或者型号错误，摄像头就会报警，待组装的发动机、变速箱等就无法放行到下一个工位。 还广泛应用于其他汽车零部件的漏装、错装检测（如气门、油封、软盘、缸体、缸盖、凸轮轴、活塞等零部件的错装检测，以及阀门、油封弹簧等缺失部件的检测）。 安装测试等）。 汽车零部件的型号识别可以通过代码识别、字符读取和模式识别三种方法来实现。 代码识别主要分为条形码、二维码、标签码和DPM码； 字符读取分为OCR和OCV； 模式识别分为颜色和形状。

图7 机器视觉检查发动机缸盖气门杆是否存在及型号

图7显示了汽车发动机气缸盖气门杆模型和存在/不存在检测。 最初，颜色代码用于视觉防错识别。 由于摄像头检测误报较多，改为字符进行视觉防误识别。 建议在汽车零部件的机器视觉识别中使用广泛不同的字符和颜色代码组合，以防止错误。 不建议将角色部分组合成1/7、2/3/5/6、8/0。 所有其他字符组合都是可接受的。 ; 颜色标记部件的推荐组合为白/蓝、白/红、蓝/黄、红/黄组合。 其他组合的差异很小。 使用摄像头预防视觉错误时，会出现许多误报。 现场参考零件应尽可能保持与正常零件相同的状态。 持续的。 当零件过于油腻且容易反光时，摄像机可以选择使用高穿透力的红外光源。

胶水涂层质量的照相检查。 如发动机油底壳、油封、端盖、前盖等。目视检查防错过程是拍照检测胶水涂胶轨迹和胶水破损情况。 通过检测得到胶线轨迹，检测出整个轨迹。 如果任意一点出现轨道跑偏或断胶情况，摄像头就会报警，工件无法流向下一个工位。 。

图8 机器视觉检查发动机前盖涂胶轨迹及断胶情况

图8所示为发动机前盖涂胶摄像头检查。 使用工业相机进行涂胶质量检测时，涂胶轨迹和涂胶质量不稳定对相机检测效果产生影响，如小区域胶条过短、开始时胶条粗、胶条过粗等。末端细、重叠、拖尾、弹道过长。 当条件较差时，摄像机检测误报率较高，需要调整摄像机参数； 如果涂胶头歪斜或涂胶轨道不干净，摄像头误报率高，每班或长时间停机时需要检查涂胶头。 及时清洁、检查； 油盘涂胶，黑底黑胶的视觉防错检测，采用偏光膜突出胶条轮廓。 目视检查发动机缸体轴承分级特征比较。

检测原理：利用OCR字符检测功能建立字符库。 检测时根据字库内容进行字符比对，在读取二维码信息的同时获取字符进行相互验证，确保万无一失。 在视觉检测技术方面，我们主要关注相机检测程序中曝光参数和模板设置的合理设置。

目视检查发动机活塞与连杆盖安装方向比较。 检测原理是利用形状模式识别和与标准的特殊比较，建立自己的模板，并比较特征点。 如果不一致，摄像头将拍照并报警，发动机将驶入修复分支或循环。 在视觉检测技术方面，我们主要关注相机检测程序中曝光参数和模板设置的合理设置。

发动机和变速箱车间还使用3D相机进行涂胶检查、摇臂安装状态检查和机器人自动抓取。 如图9所示，3D摄像头引导发动机高压油泵进行打胶。

图9 3D机器视觉技术在发动机涂胶引导跟踪中的应用

5.2 机器视觉技术在汽车变速箱制造过程中的应用

机器视觉在齿轮箱制造车间的主要应用场景是缺陷检测、防错、定位、测量和二维码识别。 防错是通过特性对比分析来判断工件是否存在、安装错误、安装不到位或型号差异； 定位是通过二维、三维定位输出工件的坐标值，引导机器运动路径； 测量是对产品进行检测，获得质量判断和工艺改进所需的各种参数； 二维码识别是读取产品的一维码和二维码，获取产品型号并进行追溯。 图10为某变速器装配车间50余台摄像机的应用分布。 主要用于三个应用：检测工件是否安装到位、工件是否存在、模型防错。

机器视觉定位的应用是零件定位、材料抓取和机器路径引导。 例如，如果变速箱壳​​体总成和变矩器壳体总成上线和下线，机器视觉会引导机械手将变速箱壳体总成和变矩器壳体总成抓取到 AGV 上或从 AGV 上抓取。 。

图10 某变速箱车间机器视觉技术应用类别分布

检查 KIT 托盘或餐包中零件的正确性。 检查KIT托盘或餐盒的控制阀体和电磁控制阀体的阀芯、弹簧、闷盖等部件是否存在或放置正确。 将照片结果与标准模板进行比较。 如果不一致，摄像机就会报警。 KIT盘或餐盒无法流向下一站。

零件检验和测量，如通过检测卡簧两孔之间的距离来确定卡簧是否安装到位。

检查变速箱太阳轮是否有，差速器型号是否正确，弹性挡圈是否泄漏或安装不到位等。

检查电磁阀阀体线束卡扣是否缺失或未安装到位。 如图11所示，基于固定范围内的颜色直方图检测区域，卡扣到位和未到位的颜色直方图红色值小于一定值则为正确，如果卡扣到位则为未到位红色值大于一定值。 例如，根据缺陷件未到位的情况，将判断阈值设置为180。 直方图检测区域的红色分值小于180则到位，红色分值大于180则未到位。 判断阈值需要根据缺陷件的实际情况进行设定和验证。

图11 利用机器视觉技术检测变速箱线束卡扣是否安装到位或缺失

检查电子阀体压装安装的水平度。 检测原理是首先建立图案模型，然后对图案进行定位，确定旋转角度，判断是否合格。 如果不合格，摄像头会报警，工件不会流到下一个工位。 CARE站和终检站的客户特征和质量缺陷检测。 例如，机器视觉可用于防止错误，例如加工的光学孔和螺纹孔是否缺失，变速箱密封和压力测试插头是否漏拧或安装，变速箱线束连接器插针是否歪斜等。

图12 影响相机激活率的潜在因素总结

图12为某车间机器视觉应用过程中一年内因摄像机误报影响设备运转率的因素分布情况。 在图像捕获阶段，光源亮度，图像定位，传入部分表面质量的一致性，零件表面上是否有油，暴露和焦距都会影响照片的质量，以及相机的视野将影响成像范围。 对于该程序引起的摄像机错误警报问题，我们主要增加训练样本量并根据示例数据优化参数； 对于由传入材料差异引起的相机错误警报问题，我们主要优化相机参数（例如曝光，判断阈值等）； 为了解决错误的相机警报的问题，我们主要需要在相机所在的工作站中添加一个黑匣子，以确保光稳定性，或考虑为一些天窗着色。

5.3机器视觉技术在汽车制造过程中

机器视觉技术也广泛用于汽车制造项目的人体，油漆，冲压和最终组装。 主要用于汽车制造质量缺陷检测，例如安装错误，安装和反向安装零件，螺纹孔的存在或不存在，加工刀标记，裂缝，毛刺，钥匙孔，焊缝，焊接质量等； 二维和三维视觉测量可以实现汽车零组件3D尺寸检查，组装尺寸检查，测量，面板检查，身体平整度检查等； 视觉定位或引导系统，机器人二维定位系统，例如自动螺丝拧紧机器，自动焊接机，自动胶水分配机器，机器人三维视觉指导系统，例如自动粘合，零件处理，分类和组装； 设备诊断，测试，维护； 机器人控制，CNC处理； 材料处理设备，例如零件排序，托盘和拆卸等设备，等等； 设备运动控制，例如汽车自动驾驶，自动操作等； 连续处理和批处理处理等。

6汽车制造应用中机器视觉的未来发展趋势

汽车制造业中机器视觉技术的未来发展趋势如下。

A。 无序的零件定位和抓住汽车零件；

b. 汽车零件的表面缺陷检测；

C。 基于深度学习的预防检测；

d. 智能测量汽车零件尺寸；

e. 基于复杂逻辑的智能判断的智能检测；

F。 智能的互联网技术和无人驾驶驾驶等。

7 结论

通过机器视觉技术的基本理论及其在汽车制造业领域的分析和研究，本文总结了其在应用程序过程中的作用和实践问题解决方法，并预测了未来的发展趋势。 机器视觉技术的使用可以有效地降低汽车制造生产成本，提高生产效率，生产灵活性和生产自动化，从而为汽车制造业的电气化，网络连接，智能和共享奠定坚实的基础，并促进汽车制造业行业要更高，更快，更好，更可持续发展。

作者：SAIC-GM Co.