半导体芯片广泛应用于各个领域、各类电子产品,已经成为经济发展、国家信息安全的命脉,深刻影响着现代人类的生活。在半导体芯片封装制造过程中,不可避免地在芯片表面产生各类缺陷,直接影响到芯片的运行效能及寿命。传统人工目视检测法已经难以适应半导体芯片封装制造的高速、高精度的检测需求。利用机器视觉技术对芯片表面缺陷进行检测,具有无接触无损伤、检测精度高、速度快、稳定性高等优点。尽管目前基于机器视觉的芯片缺陷检测技术在芯片打印字符、引脚外观尺寸位置等方面的研究已取得很好的进展,但对于芯片表面的外观缺陷检测与分类研究尚处于起步阶段。同时,芯片表面缺陷在线检测与分类对图像处理算法在线应用的可行性、计算精度、实时性与运行效率提出了更高的要求。因此,本文研究基于机器视觉的半导体芯片表面缺陷在线检测中的图像处理关键技术,建立从半导体芯片图像获取、图像预处理、图像分割到芯片表面缺陷特征提取与分类的在线检测完整理论体系。本文的研究有助于推进半导体芯片表面缺陷在线检测在机器视觉领域的几项关键技术的发展,不仅具有重要的理论研究意义,还具有广泛的应用价值。本文主要研究内容如下:(1)芯片表面缺陷在线检测系统的设计。首先,对检测系统总体结构进行设计,对系统基本工作流程进行阐述。其次,根据研究对象芯片引脚、中心焊盘与基板塑封特征,以及表面缺陷检测基本需求,提出一种适用于半导体芯片图像采集的明暗场同时照明的照明方案,实现在一次曝光中完成高动态范围场景中所有区域表面缺陷的图像采集工作。第三,阐述系统关键检测机构工作原理,根据检测技术要求对相机、镜头等关键部件进行参数计算与选型。建立图像采集系统的相机景深模型,以此指导实际检测中运行参数的调整。第四,设计检测系统的软件功能模块与实现流程,包括离线训练与在线检测分类两部分。最后,使用搭建的半导体芯片表面缺陷在线检测系统,实现高效率、高质量的芯片塑封面与引脚面图像获取。(2)芯片表面缺陷图像预处理方法的研究。首先,针对采集到的包含多幅芯片塑封面/引脚面的图像,分别提出芯片缺陷图像的快速切分校正算法,实现从多幅芯片塑封面/引脚面图像中切分出所有单幅芯片图像、对单幅图像进行旋转校正与优化的自动化过程。其次,为了提高芯片图像分辨率、突出缺陷特征、保护图像边缘信息,在实现并行化快速双三次图像插值算法基础上,提出改进的快速定向双三次图像插值算法。该算法引入Otsu阈值作为局部窗口强弱边缘及边缘方向判断基准,对强边缘根据边缘方向用双三次卷积计算待插像素值,对弱边缘或纹理区域根据两个正交方向双三次卷积加权计算待插像素值。实验证明该插值算法在保护图像边缘与纹理区域方面优于对比算法。(3)芯片缺陷图像阈值分割方法的研究。首先,针对芯片表面缺陷图像特点,提出基于改进引力搜索算法的模糊熵多阈值分割算法。该算法引入梯形模糊隶属度函数将图像多阈值分割问题转化为多阈值模糊熵模糊隶属度函数最优参数寻优问题,应用改进的引力搜索算法加速寻优过程。实验证明了算法的有效性与优越性,但因为算法参数数量原因不适用于实时性要求较高的场合。其次,为了提高优化算法在处理图像多阈值分割问题的全局搜索能力与收敛能力,提出基于广义反向粒子群与引力搜索混合算法(GPSOGSA)的图像多阈值分割算法。该算法将标准粒子群优化与改进引力搜索算法结合,引入广义反向策略与全局最优解正态变异策略,使用Otsu多阈值算法作为图像分割适应度函数。对算法复杂度进行理论分析,并通过实验证明算法的种群多样性、全局搜索与局部搜索能力、收敛性能都要优于对比算法。在此基础上提出适用于芯片引脚图像多阈值分割的GPSOGSA最优参数。最后,根据芯片塑封图像特点,提出基于灰度-梯度共生矩阵的二维最大熵阈值图像分割算法。该算法充分利用图像灰度与梯度信息,使用GPSOGSA优化二维最大熵求解过程,对芯片塑封图像进行有效二维阈值分割,分割效果优于Otsu单阈值算法,计算速度远快于穷举法且分割精度与之相当。(4)芯片表面缺陷特征提取与分类方法的研究。首先,根据实际芯片外观检测需求与图像分割结果,总结分析5种塑封缺陷与5种引脚缺陷类型。其次,.提出基于数学形态学的塑封表面缺陷区域提取方法,获得塑封缺陷区域灰度图像。提出基于纹理方向的引脚表面缺陷区域提取方法,根据图像纹理方向信息判断并定位缺陷区域,获得引脚缺陷区域灰度图像。第三,根据缺陷区域灰度图像,提取芯片表面缺陷的几何、灰度、纹理共计24个特征。第四,为了去除无关及冗余特征、提高分类效率,使用支持向量机递归特征消除SVM-RFE算法对缺陷特征样本进行特征选择,获得缺陷样本最优特征子集,生成仅包含最优特征子集为特征的缺陷样本。最后,提出基于GPSOGSA与高斯核支持向量机RBF-SVM的缺陷分类方法。该方法使用SVM“一对一”的二分类方法建立多类分类器,使用GPSOGSA算法对RBF-SVM的惩罚因子与高斯核参数进行参数寻优。实验证明GPSOGSA能够获取相对较优的RBF-SVM的惩罚因子与高斯核参数参数值,以及缺陷样本10折交叉验证分类准确率。(5)芯片表面缺陷在线检测实验验证与分析。首先,提出芯片表面缺陷在线检测指标,搭建芯片表面缺陷在线检测实验环境。其次,在实现从多幅芯片图像切分到单幅芯片图像旋转校正、插值放大、阈值分割、缺陷区域提取、缺陷特征提取、缺陷分类完整流程基础上,对本文提出的缺陷在线检测算法在实时性与实用性方面进行实验验证与分析。实验数据结果满足缺陷在线检测与分类识别的各项技术指标。