成果：TFT-LCD液晶屏缺陷工业检测机器人
一、项目简介
随着工业技术的快速发展，大尺寸、高分辨率、窄边框的液晶屏成为计算机、电视、手机等不可或缺的显示设备。薄膜晶体管液晶显示器(TFT-LCD)设备已经成为显示器工业的主流技术。由于其复杂的制作工艺，视觉缺陷检测已经成为一项极其重要的步骤。大部分的TFT-LCD组件集成了大量复杂的电子线路，其有缺陷的地方可能小于0.01mm2并且很容易被周围的线路遮挡覆盖。缺陷包括断点和脏污等，特征具有很低的对比度，模糊的边缘，甚至连人眼都很难分辨出来。为了减少数据处理量，提高检测速度，视觉检测系统获通常取得是单通道的TFT-LCD工业图像。图像色彩偏于黯淡，像素间的特征相关性减弱。
近年来，机器视觉已经在工业检测上取得了巨大的进步。大多数视觉系统已经达到稳定，快速和自动化的程度，但是对于复杂的图像，它们仍然有很大的误报率。因此，高效率，高精度的自动检测系统是使薄膜晶体管液晶显示器(TFT-LCD)设备能够保持竞争力的关键。
随着人工智能的发展，深度神经网络算法已经被成功运用在工业检测领域，并取得显著的效果。但是传统的神经网络算法只能用于图像的分类，不能精确地对目标缺陷进行检测和定位，这给人工智能在工业检测系统上的应用造成了一定的瓶颈。项目提出了基于快速区域神经网络(FasterR-CNN)算法对液晶屏电路板的缺陷进行识别和定位，利用实际采集的电路板图像数据构建数据集对算法进行验证，详细分析了网络层深度及卷积核大小对检测效果的影响。实验结果表明，采用3x3小尺寸的卷积核和16层网络深度的FasterR-CNN结构取得最好的效果，对多种类别的液晶屏电路板缺陷识别定位达到平均每张0.12s的识别速度和94.6%的准确率。
二、前期研究基础
项目组主要成员自2004年以来一直从事自动光学检测领域研发工作，融合国际先进的自动光学检测技术和国内的电路板贴片生产实际情况，充分考虑国内的实际生产环境和人员操作情况，研发出Otek品牌系列AOI产品，自2005年投入市场以来，受到众多用户的好评。为我国PCBAAOI产品领域的国产化进程做出了重要贡献。2008年以来，随着液晶显示行业高速发展，根据市场要求，陆续推出了柔性电路板自动光学测距仪、手机面板检测仪、液晶屏模组检测仪、台阶电极自动检测机等一系列光学检测产品。特别地在台阶电极自动检测机领域，运用自主研发的显微图像采集系统，配合独创的智能化图像识别算法，可检测液晶屏上尺寸为1×1μm的微小缺陷，作为国内领先技术，获得了用户高度认可。团队拥有30多项专利和20多项软件著作权。在工业检测多年的发展沉淀过程中，以实现精准、快速、高效、智能化的工业自动检测为发展目标；
在传统的目标检测算法中，许多算法已经成功应用于工业图像处理中，取得良好的识别效果。Lowe的SIFT算法提取图像的特征，它具有旋转、缩放和亮度不变性，并保持对噪声数据的稳定性。Dalal和Triggs提出了梯度直方图(HOG)为特征的局部梯度方向与梯度强度分布图像描述符。Serikova等提出的能量检测，具有检测信号之间的间隔期间的突发噪声。近年来，随着人工智能，特别是深度学习的兴起，在制造业中，利用卷积神经网络(CNN)对合格产品进行分类已经取得了令人印象深刻的效果。卡尔德隆和CAMPOY开发卷积自上而下螺旋结构生成数字滤波器。XiaoLim等人利用多尺度完全卷积网络检查飞机发动机部件。
三、应用技术成果
TFT-LCD缺陷工业检测机器人项目，团队自主研发包括基于深度学习的图像识别引擎、微米级光学平台、自动机械手臂、运动控制等在内的在线缺陷检测系统，实现精确、高效、可靠的完全替代人工的缺陷检测，保证了产品质量，作为国内领先技术，获得了用户高度认可。
项目团队提出了基于快速区域神经网络(FasterR-CNN)算法对液晶屏电路板的缺陷进行识别和定位，利用实际采集的图像数据构建数据集对算法进行验证，对比分析了网络层深度及卷积核大小对检测效果的影响。实验结果表明，采用3×3小尺寸的卷积核和16层网络深度的FasterR-CNN结构取得最好的效果，对多种类别的液晶屏电路板缺陷识别定位达到平均每张0.12s的识别速度和95%的准确率。
设备图
设备应用场景照
项目核心技术与创新点：
1、创新的专用图像识别引擎：自主研发识别引擎，融合了快速区域神经网络算法、模板匹配、共生灰度识别、差异分析等等图像处理算法，充分挖掘CPU/GPU等数据处理能力，智能并高效识别各类缺陷。对高分辨率图片的检测高稳定、高准确。
2、独特的高精度图像采集系统：为获取清晰、有效的高精度图像，采用了自主设计的特殊的图像采集系统，配置高分辨率相机、高亮度白色点光源、以及具有真空吸附功能的高精度载台，在图像采集中虚化液晶屏顶层缺陷、微颗粒、气泡等干扰，保证了采集到的高清晰目标图像，检测分辨率最高可达1微米/像素。
3、稳定高速采集系统：为提高检测速度，设计一套高速采集系统，使单片检测时间≤20秒。
