版权信息
省级大型综合性科技类期刊
主管部门:自治区科技厅
主办单位:自治区科学技术信息研究院 
协办单位:自治区科学技术情报学会
编辑出版:科技期刊编译室
刊社地址:内蒙古呼和浩特新城西街149号本刊杂志社
邮政编码:100010
电      话:0471-2536371

E-mail  :

nmgkjzz@vip.163.com 

网站地址:www.nmgkjzz.com


往期杂志
当前位置: 首页>往期杂志>详细介绍

基于机器视觉的贴片芯片焊点缺陷检测技术研究

时间:2016-09-05来源: 作者: 点击: 68次

尹丙桥  谢云

(广东工业大学自动化学院)

                 

摘 要:研究利用图像处理技术对贴片芯片焊点缺陷进行识别。对在机器视觉平台上采集的样品图像进行预处理、模板匹配、边缘检测、阈值分割等图像处理步骤后定位焊点区域;通过有效提取贴片式元件的焊点特征信息对焊点缺陷进行识别。实验证明,该方法对焊点区域定位性能好,能有效地检测出不同类型焊点,具有良好的缺陷识别效果。

关键词:图像采集;区域定位;阈值分割

 

 


0 引言

随着电子技术的发展使得一些元器件芯片在满足可靠性的前提下设计得更微型化、薄型化,运用表面贴装技术将这些元件安装在印制电路板上,通过回流焊或浸焊等方法加以焊接组装,对应的焊点也比较小,其中也会由于微量的机械振动等原因的影响造成一些焊接缺陷的情况,比较常见的缺陷主要是少焊和焊点粘连,以往通过人工使用高倍显微镜对焊点进行检测,这种方式不仅费时而且准确率达不到很高的要求。因此,通过有效提取贴片式元件的焊点特征信息(焊点的面积、周长和边界等),研究在流水线上对产品焊点的自动检测具有重大意义。本文以显卡板上的AS324M芯片为例来研究贴片芯片焊点的缺陷检测方法。

基于机器视觉的在线检测方法其最大优点是信息量大、非接触、速度快、误差小、功能多,在很多领域替代了人工检测,提升了企业生产自动化水平,已经广泛应用在国内外许多领域中 [12]。本文设计的基于机器视觉的焊点缺陷检测系统组装方便,满足小型元件焊点缺陷自动检测的要求。

1 检测系统的构成及图像获取

    计算机视觉系统中光电传感器感应到摄像机视野下的显卡板,然后触发相机拍照,图像采集卡将采集到的图像存储到计算机内存中供图像检测软件处理和分析,最后处理的结果可以由I0控制口输出剔除指令驱动外部剔除装置,剔除不合格的产品。系统硬件平台样机照片如图1所示,包括工业相机、镜头、光源以及计算机四个主要部分,采集的样品图片灰度化后的图片如图2a)所示。

在实际需求中,为获得较高质量的图像,综合被测物尺寸大小调节相机工作距离,最后选定15cm×12cm(长宽比5:4)的视场范围。相机选择500万像素CCD工业面阵相机,配有U-tron公司的FV2020百万像素级工业镜头[3]。相机拍照后通过图像采集卡将采集到的图像经USB口传输至计算机。

1.2 系统光源

在图像采集系统中,一个可靠稳定的光源照明设计能够有效降低图像预处理、分割、识别的难度,以及提高系统的定位和测量精度。本系统光源选用两个环形光源,用于检测表面焊点。为了对表面不平的物体实现均匀照明采用两边对称环形光源打光方式,并能够完全消除阴影。

2 图像处理

2.1 预处理

    在数字图像的采集、处理和传输过程中受到一些随机因素的影响均有可能引入噪声,因此,为使图像更适合后续处理,提高检测的精度,通常需要对采集到的图像作图像预处理操作。图像预处理通常包含图像增强、几何变换以及图像复原等过程。本文中图像预处理主要是对图像进行中值滤波达到图像增强的效果。

2.2 焊点区域定位 

在实际检测过程中,被测品的摆放位置会有一定偏差,因此需研究焊点区域精确定位的方法。焊点区域的定位准确与否,直接影响到后续缺陷识别的准确度。本文焊点区域定位步骤如下:

1)模板匹配

在基于区域的配准中,称作模板图像的一幅图像被移动以覆盖第二幅图像的每个位置。在每个位置,计算基于区域的相似性度量。如果在相似性度量中,在某个特定位置找到明显的峰值,就可以说模板图像在第二幅图像的某个特定位置匹配[4]

对于基于区域的配准来说,使用的相似性度量是归一化互相关。图像和模板之间的归一化互相关的定义是:

       γx,y=s,tws,t-wfx+s,y+t-fxys,tws,t-w2s,tfx+s,y+t-fxy2                     

   其中,w是模板,w(_)是模板元素的平均值,

f是图像,fxywf覆盖的那个区域图像的平均值。求和是对图像和模板覆盖的st进行。选择中心点(xy),对预定义的围绕点(x,y)的邻域内的像素执行运算。执行归一化互相关的图像处理工具箱函数是normxcorr2,首先读入模板和图像,使用normxcorr2计算和显示归一化互相关,在模板和图像之间寻找最好匹配的位置。如图2c)所示用红色边缘轮廓标记在PCB中用模板匹配到的芯片位置。

2)区域定位

定位出AS324M芯片左右两边焊点的区域。这里采用扫描每行每列像素的方法,先由上至下扫描红色轮廓标记区,记录每行中灰度值大于一个阈值的像素点,得到芯片黑色封装体的边缘线,然后根据模板中距离封装边缘的上下长度和左右长度的比例关系取得图片中距离芯片封装体黑色边缘线的左右长度和上下长度,从而定位得到芯片位置所覆盖区域,然后截取芯片区域的图片。接下来图像中存在焊点的矩形区域可以根据截取的图像的中心点坐标定位得到,如图2(d)所示。



            

         a)灰度化                                b)中值滤波

                      

        c)匹配芯片位置                            d)焊点区域定位     

                      2  图像预处理与焊点区域定位


3 焊点缺陷识别

    图像识别是人工智能的一个重要领域,通过度量物体的某种特征如面积大小、周长、矩形度等,以识别各种不同模式的目标和对像。本课题需要检测焊点质量是否合格,对采集到的图像进行焊点检测的具体方法如下。

3.1 阈值处理

使用阈值分割法对三种类型焊点:正常、缺焊及桥接焊点进行识别。AS324M芯片有14个引脚,共有14个焊接点,为能分辨出每个焊点的质量好坏,把芯片焊点区域划分为单个焊点区域后逐一进行识别,在此先对右边一排的7个焊点进行单个焊点区域分割,同理芯片左边引脚处的焊点也可类似作分割后处理。当环形正面光源照射电路板时,焊锡部位会反射不同程度光线,而没有焊锡部位反光可以忽略不计。为了提高焊点识别速度及图像的检测效果,将焊点区域的灰度图像二值化,fxy)为二维灰度图像函数,通过最大类间方差法算得一个合适的阈值T,然后通过式(1)中比较每个像素点灰度值与T的大小关系得到二值化图像g(x,y)。                          

   gx,y=1,fx,y≥T0,fx,y<T              (1)                            

在二值化图像中,对于物体(焊锡)的图像元素g(x,y)=1,对应白色区域,对于背景的图像元素g(x,y)=0,对应黑色区域。为更清晰反映各焊点形态类型,采用提取焊点质心坐标的方法定位焊点从而将二值化图像中整体的焊点区域划分为单个焊点区域,如图3所示。

 


          

        (a) 正常焊点                b)粘连焊点                c)少焊焊点

                                    图3 区域分割



3.2 焊点图像特征提取

1)统计连通域个数

通过提取相邻两个焊点区域的图像,经过开运算后可以消除细的突出物,平滑焊点的轮廓,之后通过canny算子能够清晰的提取焊点的边缘,从边缘图像中能容易的统计相邻两个焊点图像中连通域个数,若相邻两个焊点是粘连的则在二值化图像中只会出现一个连通域,从而可以区分出桥接的焊点,而缺焊的焊点与正常焊点的连通域个数都为两个,不容易被区分,需要通过第二个特征来区分。三种类型的焊点通过开运算后边缘检测图像如图4所示。


相邻两个焊点图像                            

 

开运算后图像                                

 

图像边缘提取                             

               正常焊点         粘连焊点         少焊焊点

                   图4 三种类型焊点边缘检测图

 


2)计算连通区域面积

单个焊点区域图像中的白色像素点区域即为连通区域,其面积可以通过统计区域内这些像素点个数计算得到。连通域面积对于正常焊点区域来说会保持在一定置信区间内;当焊点部分焊锡较少时,连通区域面积变小,不在置信区间内。由此能识别出正常焊点与缺焊焊点。

4 实验结果分析

实验中对20个显卡AS324M芯片样品上的280个焊点进行了识别,其中正常焊点241个,缺陷焊点中粘连和少焊焊点个数分别为18个,21个。实验结果如表1所示。


1 样本测试结果统计

焊点类型    测试焊点数目   检测正确的数目   检测正确率(%

 正常          241            236            97.9%                

 粘连          18             18             100%

 少焊          21             19             90.5% 

从表1的数据可以看出,缺焊样本有90.5%的缺陷焊点可以被识别,桥接样本的识别率达到100%,正常焊点中有五个被误判,是由于光照等因素对样本图片的影响,经过二值化处理后得到的连通区域面积较小,从而被误识别为缺焊。总体来看采用本文设计的识别方法能够取得较好的识别效果。

通过参考其他学者在焊点缺陷的识别方法的研究[5-8]中可以知道,大致有以下两类识别算法:基于特征的图像分析算法与基于统计建模的图像对比算法。文献[9]采用神经网络算法对焊点缺陷分类检测,该算法的缺点是参数设置困难,运算量大从而降低了识别效率。本文通过边缘检测提取连通域数目,然后通过计算单个焊点图像中连通域面积,结合此两者特征对焊点缺陷进行识别,提高了识别效率。

5 结语

本文基于机器视觉理论,将机器视觉技术应用到芯片焊点缺陷自动检测中,利用合理的图像采集,图像处理和图像识别方法,有效对AS324M芯片表面焊点进行定位;使用连通区域面积、连通域数目作为特征来识别焊点缺陷情况。实验结果表明该系统方法识别准确率高,且具有可扩展性,可以在此基础上进行其他元器件焊点的检测,不需要额外添加硬件,降低了开发成本。

 

参考文献:

[1] 张思佳.基于机器视觉的机械精度测量技术研究[D].沈阳工业大学,2014.

[2] 张峥,王艳平,薛桂香.数字图像处理与机器视觉[M].北京:人民邮电出版社2010.

[3] LU Hongliang.Camera calibration method for machine vision[D]ShenyangSchool of Information Science and Engineering Shenyang University of Technology20137-25(in Chinese)[路红亮.机器视觉中相机标定方法的研究[D].沈阳:沈阳工业大学,20137-25]

[4] 周丽莎.基于模板匹配的视觉定位技术研究与应用[D].大连:大连理工大学,2012.

[5] 韦玉科,陈玉,田洪金.基于计算机视觉的焊点缺陷检测系统的设计[J].测控技术,2015,(01).

[6] 刘阳.基于图像处理的PCB焊接缺陷检测技术研究[D].大连:大连理工大学,2009.

[7] 杨富超,吴媛,炎云.基于图像处理技术的SMT焊点质量检测方法[J].计算机测量与控制,2012,20(7)1824-1826.

[8] 吴福培,邝泳聪,张宪民等.基于模式匹配及其参数自适应的PCB焊点检测[J].光学精密工程,2009,1710.

[9] 周颖,赵海凤,郝红敏.基于图像处理的焊点缺陷识别方法的研究[J].计算机工程与应用,2013,49(1):239-241.


 

 

 

 

 

摘 要:研究利用图像处理技术对贴片芯片焊点缺陷进行识别。对在机器视觉平台上采集的样品图像进行预处理、模板匹配、边缘检测、阈值分割等图像处理步骤后定位焊点区域;通过有效提取贴片式元件的焊点特征信息对焊点缺陷进行识别。实验证明,该方法对焊点区域定位性能好,能有效地检测出不同类型焊点,具有良好的缺陷识别效果。

关键词:图像采集;区域定位;阈值分割

 


Research on Solder Joint Defects Detection for SMT Chip Based on Machine Vision

Yin Bingqiao  Xie Yun

(Dept. of Automation, Guangdong University of Technology)

 

Abstract: Research on the use of image processing technology to identify the solder joint defects of the SMT packaged chip. On machine vision platform to collecting the image of the sample. Then through image preprocessing, template matching, edge detection, threshold segmentation and other image processing steps to locate the solder joint area in the collected image. By effectively extracting the solder joint characteristic information of the SMT components, the defects of the solder joint are identified. Experiment proofs that this method has good localization performance and can effectively detect different types of solder joints, and has a good effect in recognizing defects.

Key Words: Image Acquisition; Region Location; Threshold Segmentation


 

 

 

 

 

作者简介:

   尹丙桥,男,1990年生,硕士研究生,研究方向:图像处理、嵌入式系统应用。

    谢云,女,1964 年生,硕士生导师,教授,主要研究领域:图像处理、脑机接口技术、IC 设计等。


 


 

 

本刊创刊于1982年,是由自治区科技厅主管、自治区科技信息研究院主办,由自治区科技情报学会协办、国内外公开发行的省级综合性科技刊物,是反映内蒙古自治区科技与经济发展的窗口。杂志入选《中国期刊全文数据(CJFD)》全文收录期刊和《中国学术期刊综合评价数据(CAJCED)统计刊源期刊,《中国核心期刊(遴选)数据库》收录。本刊是公开发行的综合性科技期刊,为月刊,大16开本。本刊坚持以科技创新为目标,融科技、经济、信息、产业、市场为一体,是促进科技成果转化、推动科技进步、加强技术创新,促进经济发展的专业性期刊。