买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北京百度网讯科技有限公司
摘要:本发明提供一种显示屏外围电路检测方法、装置、电子设备及存储介质,通过接收部署在显示屏外围电路生产线上的控制台发送的质量检测请求,所述质量检测请求中包含所述显示屏外围电路生产线上的图像采集设备采集的显示屏外围电路图像;将所述显示屏外围电路图像放大或缩小,得到大小与缺陷检测模型的输入大小要求一致的待测图像,其中,所述缺陷检测模型是对历史缺陷显示屏外围电路图像进行语义分割算法FCN训练得到的;将所述待测图像输入到缺陷检测模型中得到缺陷检测结果;根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。该技术方案的缺陷检测准确度高、系统性能好,业务扩展能力高。
主权项:1.一种显示屏外围电路检测方法,其特征在于,包括:接收部署在显示屏外围电路生产线上的控制台发送的质量检测请求,所述质量检测请求中包含所述显示屏外围电路生产线上的图像采集设备采集的显示屏外围电路图像;将所述显示屏外围电路图像放大或缩小,得到大小与缺陷检测模型的输入大小要求一致的待测图像,其中,所述缺陷检测模型是用历史缺陷显示屏外围电路图像的实际像素类别进行全卷积网络FCN算法训练得到的,所述缺陷检测模型对所述历史缺陷显示屏外围电路图像输出的预测像素类别与所述实际像素类别之间的损失值低于预设损失阈值;其中,所述FCN算法用于图像语义分割,所述图像语义分割是指根据图像的语义从像素的角度分割出图片中的不同类型的对象,将每个像素标注为正常像素或缺陷像素,所述缺陷像素还区分不同缺陷类型;将所述待测图像输入到缺陷检测模型中得到缺陷检测结果,所述缺陷检测模型输出分割图,所述分割图以不同颜色标识出正常像素、不同的缺陷像素;根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏;所述缺陷检测结果,包括:缺陷类别和或缺陷图形位置;所述根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏,包括:根据生产阶段信息以及所述缺陷检测结果,确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏,针对不同种类的显示屏外围电路,经历的生产阶段信息不同,所述生产阶段信息包括所述显示屏外围电路的生产厂家、生产环境以及类型;若确定所述显示屏外围电路为损坏电路,所述方法还包括:通过控制器向所述控制台发送生产控制指令,所述生产控制指令用于基于缺陷原因调整生产流程以消除缺陷;并将所述显示屏外围电路图像和所述缺陷检测结果输入到所述缺陷检测模型中,以采用小流量上线的方式逐步取代正在服务器上运行的缺陷检测模型。
全文数据:显示屏外围电路检测方法、装置、电子设备及存储介质技术领域本发明涉及缺陷检测技术,尤其涉及一种显示屏外围电路检测方法、装置、电子设备及存储介质。背景技术随着科技的发展,信息显示技术在人们生活中的作用与日俱增,显示屏也因其体积小、重量轻、功率低、分辨率高、亮度高和无几何变形诸多特点被广泛应用。但在显示屏的生产过程中,由于工艺及环境的原因可能导致显示屏外围电路存在缺陷,例如,点类缺陷、异物类缺陷和划痕类缺陷等。因而,显示屏外围电路检测是生产过程中的重要环节。现有技术中,显示屏外围电路检测主要采用人工检测或机器辅助的人工检测方法。具体的,人工检测方法是指依赖行业专家肉眼观察从生产环境中采集到的图片给出判断;机器辅助的人工检测方法是指首先利用固化有行业专家经验的质检系统对待检测的显示屏外围电路图像进行检测,初步筛选出疑似存在缺陷的图片,再由行业专家对疑似存在缺陷的图片进行人工检测判断。然而,不管是人工检测方法,还是机器辅助的人工检测方法均受人的主观影响因素较大,检测准确度低、系统性能差,业务扩展能力低。发明内容本发明提供一种显示屏外围电路检测方法、装置、电子设备及存储介质,以克服现有显示屏外围电路缺陷检测方法中由于受人的主观影响因素较大,致使检测准确度低、系统性能差、业务扩展能力低的问题。根据本发明的第一方面,提供一种显示屏外围电路检测方法,包括:接收部署在显示屏外围电路生产线上的控制台发送的质量检测请求,所述质量检测请求中包含所述显示屏外围电路生产线上的图像采集设备采集的显示屏外围电路图像;将所述显示屏外围电路图像放大或缩小,得到大小与缺陷检测模型的输入大小要求一致的待测图像,其中,所述缺陷检测模型是用历史缺陷显示屏外围电路图像进行全卷积网络FCN算法训练得到的;将所述待测图像输入到缺陷检测模型中得到缺陷检测结果;根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。可选地,在第一方面的一种可能实现方式中,在所述将所述显示屏外围电路图像输入到缺陷检测模型中得到缺陷检测结果之前,还包括:以历史缺陷显示屏外围电路图像的实际像素类别对所述缺陷检测模型进行所述FCN算法训练,以使所述缺陷检测模型对所述历史缺陷显示屏外围电路图像输出的预测像素类别,与所述实际像素类别之间的损失值低于预设损失阈值。可选地,在第一方面的另一种可能实现方式中,在所述将所述显示屏外围电路图像放大或缩小之前,还包括:对所述显示屏外围电路图像进行图像预处理,其中,所述图像预处理包括下述处理中的一项或多项:裁边、剪切、旋转。可选地,在第一方面的再一种可能实现方式中,所述将所述待测图像输入到缺陷检测模型中得到缺陷检测结果,包括:根据负载均衡策略,确定承载处理资源的检测模型服务器;将所述待测图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。可选地,在第一方面的又一种可能实现方式中,所述缺陷检测结果,包括:缺陷类别和或缺陷图形位置;所述根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏,包括:根据生产阶段信息以及所述缺陷检测结果,确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。可选地,在第一方面的又一种可能实现方式中,在所述根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏之后,还包括:若确定所述显示屏外围电路为损坏电路,则执行以下一项或多项操作:通过控制器向生产管理者发送报警信息;通过控制器将所述缺陷检测结果作为日志存储到生产数据库中;通过控制器向所述控制台发送生产控制指令以便消除缺陷;将所述显示屏外围电路图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。本发明第二方面提供一种显示屏外围电路检测装置,包括:接收模块,用于接收部署在显示屏外围电路生产线上的控制台发送的质量检测请求,所述质量检测请求中包含所述显示屏外围电路生产线上的图像采集设备采集的显示屏外围电路图像;预处理模块,用于将所述显示屏外围电路图像放大或缩小,得到大小与缺陷检测模型的输入大小要求一致的待测图像,其中,所述缺陷检测模型是用历史缺陷显示屏外围电路图像进行全卷积网络FCN算法训练得到的;处理模块,用于将所述待测图像输入到缺陷检测模型中得到缺陷检测结果;确定模块,用于根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。可选地,在第二方面的一种可能实现方式中,所述处理模块,还用于在所述将所述显示屏外围电路图像输入到缺陷检测模型中得到缺陷检测结果之前,以历史缺陷显示屏外围电路图像的实际像素类别对所述缺陷检测模型进行所述FCN算法训练,以使所述缺陷检测模型对所述历史缺陷显示屏外围电路图像输出的预测像素类别,与所述实际像素类别之间的损失值低于预设损失阈值。可选地,在第二方面的另一种可能实现方式中,所述预处理模块,还用于在所述将所述显示屏外围电路图像放大或缩小之前对所述显示屏外围电路图像进行图像预处理,其中,所述图像预处理包括下述处理中的一项或多项:裁边、剪切、旋转。可选地,在第二方面的再一种可能实现方式中,所述处理模块,具体用于根据负载均衡策略,确定承载处理资源的检测模型服务器;将所述待测图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。可选地,在第二方面的又一种可能实现方式中,所述缺陷检测结果,包括:缺陷类别和或缺陷图形位置;所述确定模块,具体用于根据生产阶段信息以及所述缺陷检测结果,确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。可选地,在第二方面的又一种可能实现方式中,所述处理模块,还用于在所述根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏之后,若确定所述显示屏外围电路为损坏电路,则执行以下一项或多项操作:通过控制器向生产管理者发送报警信息;通过控制器将所述缺陷检测结果作为日志存储到生产数据库中;通过控制器向所述控制台发送生产控制指令以便消除缺陷;将所述显示屏外围电路图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。本发明第三方面提供一种电子设备,包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述第一方面以及第一方面各种可能实现方式中任一项所述的方法。本发明第四方面提供一种存储介质,所述存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如第一方面以及第一方面各种可能实现方式中任一项所述的方法。本发明提供的显示屏外围电路检测方法、装置、电子设备及存储介质,通过接收部署在显示屏外围电路生产线上的控制台发送的质量检测请求,所述质量检测请求中包含所述显示屏外围电路生产线上的图像采集设备采集的显示屏外围电路图像;将所述显示屏外围电路图像放大或缩小,得到大小与缺陷检测模型的输入大小要求一致的待测图像,其中,所述缺陷检测模型是对历史缺陷显示屏外围电路图像进行语义分割算法FCN训练得到的;将所述待测图像输入到缺陷检测模型中得到缺陷检测结果;根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。由于上述缺陷检测模型是对历史缺陷显示屏外围电路图像进行FCN训练得到的,因而,利用该缺陷检测模型得到的缺陷检测结果的分类精度高,智能化能力强,系统性能有所提高,业务可扩展能力高,解决了现有显示屏外围电路缺陷检测方法中由于受人的主观影响因素较大,致使检测准确度低、系统性能差、业务扩展能力低的问题。附图说明图1为本发明实施例提供的一种显示屏外围电路检测系统的结构示意图;图2为本发明实施例提供的显示屏外围电路检测方法实施例一的流程示意图;图3为本发明实施例提供的显示屏外围电路检测方法实施例二的流程示意图;图4为本发明实施例提供的显示屏外围电路检测装置实施例的结构示意图;图5为本发明实施例提供的一种电子设备实施例的结构示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。应当理解,在本发明的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。应当理解,在本发明中,“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。应当理解,在本发明中,“多个”是指两个或两个以上。“和或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,和或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“”一般表示前后关联对象是一种“或”的关系。应当理解,在本发明中,“与A相对应的B”、“A与B相对应”或者“B与A相对应”,表示B与A相关联,根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B,还可以根据A和或其他信息确定B。A与B的匹配,是A与B的相似度大于或等于预设的阈值。取决于语境,如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。现阶段,3C产业3C产业是指结合电脑、通讯、和消费性电子三大科技产品整合应用的资讯家电产业的整体智能自动化程度较低,通过对手机屏等显示屏外围电路行业的调研分析可知,大部分生产厂家对手机屏采用的检测方式可以分为两种,即:人工检测方法和机器辅助的人工检测方法。其中,人工检测方法是指依赖于行业专家肉眼观察从生产环境中采集到的图像进行判断,该方法受人的主观影响因素较大、检测效率较低,且对人眼的伤害较大,此外,由于显示屏外围电路的生成车间一般为无尘环境,工作人员进去前需要进行清洁准备,穿戴无尘衣服,其还可能对工作人员的健康和安全会产生不利影响。机器辅助的人工检测方法也可以称为基于液晶模组检测设备检测方法,具体原理为:首先由具有一定判断能力的质检系统过滤掉不存在缺陷的图像,再由行业专家对疑似存在缺陷的图像进行检测判断。在机器辅助的人工检测方法中,质检系统多为专家系统和特征工程系统发展而来,是指专家将经验固化在质检系统中,使其具有一定的自动化能力。因此,机器辅助的人工检测方法不仅准确率低,系统性能差,无法覆盖厂商所有的检测标准,而且这种方法还效率低,容易漏判误判,检测后的图像数据很难进行二次利用挖掘。此外,在上述质检系统中,特征和判定规则都是基于行业专家的经验固化到机器中的,难以随业务的发展迭代,导致随着生产工艺的发展,质检系统的检测精度越来越低,甚至可能降低到完全不可用的状态。另外,质检系统的特征都由第三方供应商预先固化在硬件中,升级时不仅需要对生产线进行重大改造,而且价格昂贵,其在安全性、规范化、可扩展性等方面都存在着明显不足,不利于显示屏外围电路生产线的优化升级,业务扩展能力低。综上所述,人工检测方法和机器辅助的人工检测方法均存在如下缺点:不仅效率低下、容易出现误判,而且这两种方法产生的工业数据不易存储、管理和二次挖掘再利用。本发明实施例基于人工智能技术在计算机视觉中的最新发展,研发一种自动化、高精度、自适应修正升级的显示屏外围电路检测方法,利用图像采集设备在显示屏外围电路生产线上实时采集的显示屏外围电路图像,实时对显示屏外围电路的表面质量进行检测判断,如果检测到当前图像采集设备采集到的显示屏外围电路存在缺陷,则确定出该缺陷在图片中的位置及缺陷的类别。可选地,本发明实施例中所述的缺陷可以包括,但是不局限于包括点类缺陷、异物类缺陷和划痕类缺陷等不同类别的缺陷问题。此处不进行一一介绍。应当理解,在本发明中,全卷积网络FullyConvolutionalNetwork,简称:FCN算法,是将传统卷积神经网络ConvolutionalNeuralNetwork,简称:CNN中的全连接层转化成卷积层,与经典CNN网络相比较,FCN把最后三层全连接层转换成为三层卷积层。在经典CNN结构中,前5层是卷积层,第6层和第7层分别是一个长度为4096的一维向量,第8层是长度为1000的一维向量,分别对应1000个不同类别的概率。FCN将这3层转换为卷积层,卷积核的大小通道数,宽,高分别为4096,1,1、4096,1,1、1000,1,1。看上去数字上并没有什么差别,但是卷积跟全连接是不一样的概念和计算过程,使用的是之前CNN已经训练好的权值和偏置,但是不一样的在于权值和偏置是有自己的范围,属于自己的一个卷积核。因此FCN网络中所有的层都是卷积层,故称为全卷积网络。下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。下面首先针对本发明实施例所适用的应用场景进行简要说明。参见图1,为本发明实施例提供的一种显示屏外围电路检测系统的结构示意图。在图1所示的系统中应用了本发明提供的显示屏外围电路检测方法对显示屏外围电路进行缺陷检测。如图1所示,该显示屏外围电路检测系统主要包括:控制台12、服务器组13、控制器14、数据库15、训练器16和部署在显示屏外围电路生产线上的图像采集设备11。其中,图像采集设备11采集显示屏外围电路生产线上的显示屏外围电路图像,控制台12接收图像采集设备11采集的显示屏外围电路图像,并将该显示屏外围电路图像发送给服务器组13中的检测模型服务器130,检测模型服务器130将接收到的显示屏外围电路图像输入到本身运行的缺陷检测模型中得到缺陷检测结果,控制器14接收检测模型服务器130的缺陷检测结果,并结合生产阶段信息给出业务响应,控制器14还可以将缺陷检测结果作为日志存储到数据库15中。此外,图像采集设备11采集到的显示屏外围电路图像还可以直接存储到数据库15中,作为缺陷检测模型训练的原始数据。训练器16提取数据库中的历史缺陷显示屏外围电路图像基于全卷积网络FullyConvolutionalNetwork,简称:FCN算法训练得到缺陷检测模型。可选地,上述数据库15可以包括生产数据库151和训练数据库152,生产数据库151可以接收并保存控制器14发送的缺陷检测结果以及图像采集设备11采集到的显示屏外围电路图像,训练数据库152可以存储从生产数据库151提取的历史缺陷显示屏外围电路图像和对应的原始显示屏外围电路图像,以使训练器16训练得到检测准确率高的缺陷检测模型。可选地,本发明实施例中的训练器16可以是由硬件和或软件功能实现的训练引擎,作为缺陷检测模型的训练工具。本发明实施例的显示屏外围电路检测系统中还可以包括处理器、存储器等其他实体模块,本实施例不限于此。参见图2,为本发明实施例提供的显示屏外围电路检测方法实施例一的流程示意图,图2所示方法的执行主体可以是软件装置,也可以是硬件装置,或者是软件与硬件相结合的装置。包括步骤S101至步骤S104,具体如下:S101,接收部署在显示屏外围电路生产线上的控制台发送的质量检测请求,所述质量检测请求中包含所述显示屏外围电路生产线上的图像采集设备采集的显示屏外围电路图像。可选地,在本发明实施例中,显示屏外围电路生产线上部署有图像采集设备、控制台、服务器组、控制器、数据库等多个不同的设备。图像采集设备可以是高精度图像采集摄像头,在显示屏外围电路的生产过程中,通过调整图像采集设备的角度、光线、滤镜、倍镜、聚焦等,可以采集到多张正处于生产过程中的显示屏外围电路对应的显示屏外围电路图像。当显示屏外围电路生产线上的图像采集设备采集到显示屏外围电路图像之后,部署在显示屏外围电路生产线上的控制台则可以向显示屏外围电路生产线上部署有缺陷检测模型的服务器组发送质量检测请求,该质量检测请求中包含上述图像采集设备采集的显示屏外围电路图像,以使服务器组中接收到该质量检测请求的服务器对接收到的显示屏外围电路图像进行处理。S102,将所述显示屏外围电路图像放大或缩小,得到大小与缺陷检测模型的输入大小要求一致的待测图像。S103,将所述待测图像输入到缺陷检测模型中得到缺陷检测结果。其中,所述缺陷检测模型是用历史缺陷显示屏外围电路图像进行全卷积网络FCN算法训练得到的。由FCN算法训练得到的缺陷检测模型对输入的图像有大小要求,一旦输入图像的大小与模型输入要求的大小不一致,缺陷检测模型将无法对其进行处理。对显示屏外围电路进行检测时,全局图像所示意的线路走向、绕线形状更能表现其可能存在的缺陷问题,因此本实施例中在输入缺陷检测模型之前,先对显示屏外围电路图形进行缩放处理,以使得待测图像的大小与缺陷检测模型的输入大小要求一致。对显示屏外围电路图像放大或缩小,可以理解为像素不变的放大或缩小,也可以理解为像素降低的放大或缩小。像素过高可能超出缺陷检测模型的处理能力,因此在显示屏外围电路图像像素过高的情况下,也可以先对显示屏外围电路图像进行降像素处理,在此不做限定。可选地,接收到质量检测请求的服务器将质量检测请求中的显示屏外围电路图像获取出来,并进行放大或缩小的预处理,得到大小与缺陷检测模型的输入大小要求一致的待测图像。然后将待测图像输入到服务器上运行着的缺陷检测模型中,由缺陷检测模型执行缺陷检测,进而得到缺陷检测结果。在一种实现方式中,在所述将所述显示屏外围电路图像放大或缩小之前,还可以对所述显示屏外围电路图像进行图像预处理,其中,所述图像预处理包括下述处理中的一项或多项:裁边、剪切、旋转。可以理解为,部署在显示屏外围电路生产线上的图像采集设备一般是高精度摄像头,因而,利用该图像采集设备采集到的显示屏外围电路图像可能尺寸较大、或者像素较高、或者位置不合适等。因而,当接收到控制台发送的包含在质量检测请求中的显示屏外围电路图像之后,需要根据实际情况对显示屏外围电路图像进行预处理。例如,若显示屏外围电路图像的边缘区域较大,此时,可以对显示屏外围电路图像进行裁边处理,保留显示屏外围电路图像的有用部分。值得说明的是,服务器上运行的缺陷检测模型是对历史缺陷显示屏外围电路图像进行全卷积网络FCN算法训练得到的。具体的,本实施例是用FCN算法来进行图像语义分割。图像语义分割是指让计算机根据图像的语义来进行分割。语义在图像领域中指的是图像的内容,分割的意思是指从像素的角度分割出图片中的不同类型的对象,对原图中的每个像素都进行了类型标注。例如每个像素被标注为正常像素、第一类缺陷像素、第二类缺陷像素中的一个。因而,在本发明实施例中,缺陷检测模型是通过对大量历史缺陷显示屏外围电路图像进行图像语义分割训练得到。具体地,即对历史缺陷显示屏外围电路图像中正常像素和缺陷像素都进行标记,且缺陷像素的标记还区分其缺陷类型。然后用这样每个像素被标记的历史缺陷显示屏外围电路图像作为训练集和测试集,进行FCN算法的识别,根据训练模型的输出与标记的像素类型得到损失函数,损失函数用于对模型进行反向传播,对模型进行训练和学习,直到损失函数对应的损失值低于预设损失阈值,完成训练,由此得到缺陷检测模型。在本发明实施例中,缺陷检测模型采用FCN结构。具体的,显示屏外围电路生产线上的显示屏外围电路图像作为缺陷检测模型的输入,利用缺陷检测模型的FCN结构识别显示屏外围电路图像中每个像素点的特征,即得到显示屏外围电路图像中哪些像素点是正常像素点,哪些像素点是缺陷像素点。作为一种示例,在所述将所述显示屏外围电路图像输入到缺陷检测模型中得到缺陷检测结果之前,还可以包括模型训练过程。具体地,可以是以历史缺陷显示屏外围电路图像的实际像素类别对所述缺陷检测模型进行所述FCN算法训练,以使所述缺陷检测模型对所述历史缺陷显示屏外围电路图像输出的预测像素类别,与所述实际像素类别之间的损失值低于预设损失阈值。在FCN模型中,所有层都是以卷积实现的,可以理解为所有层都是卷积层。本发明实施例可以利用这种具有卷积、池化、反卷积上采样操作的模型,对显示屏外围电路生产线上由图像采集设备采集到的显示屏外围电路图像的变形、模糊、光照变化等特征具有较高的鲁棒性,对于分类任务具有更高的可泛化性。值得说明的是,在本发明实施例中,对于不同的生产场景和显示屏外围电路图像的特点,训练上述缺陷检测模型所需要的FCN模型的组织方式均可能不同,其可以根据实际情况进行确定,本实施例并不对其进行限定。S104,根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。可选地,在本发明的实施例中,当根据缺陷检测模型得出缺陷检测结果之后,可以依据该缺陷检测结果确定上述显示屏外围电路图像对应的显示屏外围电路的质量好坏。可选地,在本发明的一实施例中,上述缺陷检测结果,可以包括:缺陷类别和或缺陷图形位置。例如,当显示屏外围电路图像中存在缺陷时,该缺陷检测模型可以得出的缺陷检测结果中可以包括缺陷类别显示屏外围电路上共存在几类缺陷、缺陷位置每个缺陷的具体位置。缺陷检测结果的呈现方式可以理解为,缺陷检测模型输出分割图,分割图以第一颜色标识为正常像素、第二颜色标识第一类缺陷、第二颜色标识第二类缺陷。在检测到两类缺陷的缺陷检测结果中,例如可以是一张白色为底色,且包含蓝色色块和绿色色块的分割图,其中白色代表正常区域的像素,蓝色代表点类缺陷区域的像素,绿色代表异物类缺陷的像素。FCN模型是像素点识别,因此从缺陷检测结果可以得到各类缺陷图形,可以理解为是各类缺陷的轮廓形状,以及其在显示屏外围电路图像中的像素点位置。相应的,S104根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏可以替换为:根据生产阶段信息以及所述缺陷检测结果,确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。具体的,显示屏外围电路的生产厂家、生产环境、以及类型等多种不同的生产阶段信息均可能在显示屏外围电路检测过程中得到不同的缺陷检测结果。对于不同种类的显示屏外围电路,所其经历的生产阶段不同,因而,对上述得到的缺陷检测结果进行分析时,需要结合各显示屏外围电路的生产阶段信息进行来确定显示屏外围电路的质量好坏。值得说明的是,本发明实施例的缺陷检测模型可以检测出显示屏外围电路图像中存在几类缺陷类型,对于每类缺陷的具体个数,本发明实施例并不限定,也即,采用FCN算法得到的缺陷检测模型不区分属于相同类别的不同缺陷个体。本发明实施例提供的显示屏外围电路检测方法,通过接收部署在显示屏外围电路生产线上的控制台发送的质量检测请求,该质量检测请求中包含显示屏外围电路生产线上的图像采集设备采集的显示屏外围电路图像,将显示屏外围电路图像输入到缺陷检测模型中得到缺陷检测结果,并根据该缺陷检测结果确定显示屏外围电路图像对应的显示屏外围电路的质量好坏。由于上述缺陷检测模型是对历史缺陷显示屏外围电路图像进行FCN算法训练得到的,因而,利用该缺陷检测模型得到的缺陷检测结果的分类精度高,智能化能力强,系统性能有所提高,业务可扩展能力高。参见图3,为本发明实施例提供的显示屏外围电路检测方法实施例二的流程示意图。在上述实施例的基础上,图3所示实施例中,上述S104将所述待测图像输入到缺陷检测模型中得到缺陷检测结果可以通过步骤S301-S302实现,具体如下:S301,根据负载均衡策略,确定承载处理资源的检测模型服务器。可选地,在本发明的实施例中,显示屏外围电路生产线上部署有一个服务器组,该服务器组中的服务器数量可以为多个,每个服务器上均运行着缺陷检测模型。可选地,每个服务器上运行的缺陷检测模型均是相同的,因此,每个服务器均可接收控制台发送的质量检测请求,进而可以利用自身承载的缺陷检测模型对显示屏外围电路图像进行质量检测。作为一种示例,由于部署在显示屏外围电路生产线上的图像采集设备实时采集显示屏外围电路图像,因而,控制台也可以实时向服务器组中的任一服务器发送质量检测请求。可选地,由于服务器组中每个服务器上运行的缺陷检测模型是相同的,因而,为了提高服务器上的缺陷检测模型的检测效率,保证缺陷检测模型的负载均衡,可以根据预先设置的负载均衡策略,从服务器组中确定一个服务器作为承载处理资源的检测模型服务器,即根据显示屏外围电路生产线上缺陷检测模型的部署情况实时进行负载均衡和调度。S302,将所述待测图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。可选地,在本发明实施例中,当从服务器组中确定出承载处理资源的检测模型服务器之后,便可以将上述显示屏外围电路图像输入到该检测模型服务器上运行的缺陷检测模型中,利用该缺陷检测模型对显示屏外围电路图像的缺陷进行检测,进而得到缺陷检测结果。可选地,该缺陷检测模型是由训练模块对历史缺陷显示屏外围电路图像中的预设像素类别和实际像素类别进行训练得到的。本发明实施例提供的显示屏外围电路检测方法,通过根据负载均衡策略,确定承载处理资源的检测模型服务器,并且将上述待测图像输入到运行在上述检测模型服务器上的缺陷检测模型中得到缺陷检测结果,能够实现服务器上的负载均衡,提高显示屏外围电路图像的检测效率,提升显示屏外围电路检测系统的性能。在一种实现方式中,在上述步骤S302将所述待测图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果之后,还可以包括如下步骤:若确定所述显示屏外围电路为损坏电路,则执行以下一项或多项操作:通过控制器向生产管理者发送报警信息;通过控制器将所述缺陷检测结果作为日志存储到生产数据库中;通过控制器向所述控制台发送生产控制指令以便消除缺陷;将所述显示屏外围电路图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。可选地,在本发明实施例中,测试人员可以根据显示屏外围电路的生产场景和生产阶段信息,预先设置当确定显示屏外围电路为坏屏时的解决方案,比如,通过控制器向生产管理者发送报警信息,和或,通过控制器将上述缺陷检测结果作为日志存储到生产数据库中,和或,通过控制器向控制台发送生产控制指令以便消除缺陷,和或,将上述显示屏外围电路图像和上述缺陷检测结果输入到上述缺陷检测模型中以便优化上述缺陷检测模型等。具体的,作为一种示例,当根据上述缺陷检测结果确定出显示屏外围电路图像对应的显示屏外围电路是损坏电路,即显示屏外围电路中存在缺陷时,可以发出报警信息,以使生产管理者及时定位缺陷的类别和位置,并且给出解决方案。作为另一种示例,当根据上述缺陷检测结果确定显示屏外围电路中存在缺陷时,可以通过控制器将上述缺陷检测结果作为日志存储到生产数据库中,即将显示屏外围电路的缺陷类别,和或,缺陷图形位置作为日志存储到生产数据库中,进而可以将其筛选到训练数据库中,由训练模块可以是训练引擎等软件程序根据存在缺陷的显示屏外围电路图像更新上述缺陷检测模型。作为再一种示例,当根据上述缺陷检测结果确定显示屏外围电路中存在缺陷时,还可以通过控制器向控制台发送生产控制指令以便消除缺陷。即,承载缺陷检测模型的检测模型服务器可以通过控制器确定出缺陷出现的原因,进而根据相应的调整生产流程,也即,检测模型服务器通过控制器向控制台发送生产控制指令以消除显示屏外围电路上出现的缺陷,以减少损坏电路出现的概率。作为又一种示例,当根据上述缺陷检测结果确定显示屏外围电路中存在缺陷时,也可以直接将上述显示屏外围电路图像和上述缺陷检测结果输入到上述缺陷检测模型中以便优化上述缺陷检测模型,即直接将损坏电路对应的显示屏外围电路图像作为缺陷检测模型的训练集,以优化该缺陷检测模型,进而提高缺陷检测模型的检测准确度。值得说明的是,本发明实施例并不限定在确定显示屏外围电路为损坏电路时检测模型服务器可执行的上述一项或多项操作,其可根据实际情况进行确定,此处不再赘述。可选地,对于显示屏外围电路生产线上部署的图像采集设备、控制台、服务器组、控制器、数据库等多个不同的设备,也可以将显示屏外围电路检测方法对应的操作步骤分散到上述多个不同的设备来执行。例如,图像采集设备采集显示屏外围电路图像,控制台根据负载均衡策略,将图像采集设备采集到的显示屏外围电路图像发送给服务器组中的检测模型服务器,由检测模型服务器上运行的缺陷检测模型对显示屏外围电路图像进行预设的预处理之后进行缺陷检测,并给出缺陷检测结果。检测模型服务器可以将缺陷检测结果发送给控制器,一方面由控制器结合实际业务场景,并根据业务需求,根据上述缺陷检测结果做出符合实际业务场景要求的响应,如报警、存储日志、控制生产控制指令等,另一方面,控制器还可以将缺陷检测结果及上述响应的处理行为作为日志存储到生产数据库中,以使训练模块根据训练数据库中的显示屏外围电路图像和缺陷检测结果更新上述得到的缺陷检测模型,该训练数据库中存储的是从生产数据库中筛选的具有缺陷的显示屏外围电路图像和对应的缺陷检测结果等数据。值得说明的是,对于每一次优化的缺陷检测模型可通过小流量上线的方式逐步取代正在服务器上运行的缺陷检测模型,以达到缺陷检测模型随业务场景和生产阶段信息动态扩展泛化的目的。当本发明实施例中显示屏外围电路检测方法在显示屏外围电路生产线上运行一段时间后,可以人工通过生产数据库中的信息,复查上述缺陷检测和缺陷定位的准确率,然后更新上述训练数据库,重新训练缺陷检测模型,以提高缺陷检测准确率。下述为本发明装置实施例,可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明方法实施例。参见图4,为本发明实施例提供的显示屏外围电路检测装置实施例的结构示意图。如图4所示,本发明实施例提供的显示屏外围电路检测装置可以主要包括:接收模块41、预处理模块42、处理模块43和确定模块44。其中,接收模块41,用于接收部署在显示屏外围电路生产线上的控制台发送的质量检测请求,所述质量检测请求中包含所述显示屏外围电路生产线上的图像采集设备采集的显示屏外围电路图像。预处理模块42,用于将所述显示屏外围电路图像放大或缩小,得到大小与缺陷检测模型的输入大小要求一致的待测图像,其中,所述缺陷检测模型是用历史缺陷显示屏外围电路图像进行全卷积网络FCN算法训练得到的。处理模块43,用于将所述待测图像输入到缺陷检测模型中得到缺陷检测结果。确定模块44,用于根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。图4所示实施例的显示屏外围电路检测装置对应地可用于执行图2所示方法实施例中的步骤,其实现原理和技术效果类似,此处不再赘述。可选地,所述处理模块43,还用于在所述将所述显示屏外围电路图像输入到缺陷检测模型中得到缺陷检测结果之前,以历史缺陷显示屏外围电路图像的实际像素类别对所述缺陷检测模型进行所述FCN算法训练,以使所述缺陷检测模型对所述历史缺陷显示屏外围电路图像输出的预测像素类别,与所述实际像素类别之间的损失值低于预设损失阈值。可选地,所述预处理模块42,还用于在所述将所述显示屏外围电路图像放大或缩小之前对所述显示屏外围电路图像进行图像预处理,其中,所述图像预处理包括下述处理中的一项或多项:裁边、剪切、旋转。可选地,所述处理模块43,具体用于根据负载均衡策略,确定承载处理资源的检测模型服务器;将所述待测图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。可选地,所述缺陷检测结果,包括:缺陷类别和或缺陷图形位置。所述确定模块44,具体用于根据生产阶段信息以及所述缺陷检测结果,确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。可选地,所述处理模块43,还用于在所述根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏之后,若确定所述显示屏外围电路为损坏电路,则执行以下一项或多项操作:通过控制器向生产管理者发送报警信息;通过控制器将所述缺陷检测结果作为日志存储到生产数据库中;通过控制器向所述控制台发送生产控制指令以便消除缺陷;将所述显示屏外围电路图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。上述装置实施例的显示屏外围电路检测装置可用于执行图2至图3所示方法实施例的实现方案,具体实现方式和技术效果类似,这里不再赘述。参见图5,为本发明实施例提供的一种电子设备实施例的结构示意图,该电子设备包括:处理器51、存储器52和计算机程序;其中存储器52,用于存储所述计算机程序,该存储器还可以是闪存flash。所述计算机程序例如是实现上述方法的应用程序、功能模块等。处理器51,用于执行所述存储器存储的计算机程序,以实现上述方法中电子设备执行的各个步骤。具体可以参见前面方法实施例中的相关描述。可选地,存储器52既可以是独立的,也可以跟处理器51集成在一起。当所述存储器52是独立于处理器51之外的器件时,所述电子设备还可以包括:总线53,用于连接所述存储器52和处理器51。本发明还提供一种存储介质,所述存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如图2至图3所示方法实施例的方法。其中,存储介质可以是计算机存储介质,也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如,存储介质耦合至处理器,从而使处理器能够从该可读存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路ApplicationSpecificIntegratedCircuits,简称:ASIC中。另外,该ASIC可以位于用户设备中。当然,处理器和存储介质也可以作为分立组件存在于通信设备中。本发明还提供一种程序产品,该程序产品包括计算机程序,该计算机程序存储在存储介质中。显示屏外围电路检测装置的至少一个处理器可以从存储介质读取该计算机程序,至少一个处理器执行该计算机程序使得显示屏外围电路检测装置执行图2至图3所示方法实施例的方法。在上述电子设备的实施例中,应理解,处理器可以是中央处理单元英文:CentralProcessingUnit,简称:CPU,还可以是其他通用处理器、数字信号处理器英文:DigitalSignalProcessor,简称:DSP、专用集成电路英文:ApplicationSpecificIntegratedCircuit,简称:ASIC等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
权利要求:1.一种显示屏外围电路检测方法,其特征在于,包括:接收部署在显示屏外围电路生产线上的控制台发送的质量检测请求,所述质量检测请求中包含所述显示屏外围电路生产线上的图像采集设备采集的显示屏外围电路图像;将所述显示屏外围电路图像放大或缩小,得到大小与缺陷检测模型的输入大小要求一致的待测图像,其中,所述缺陷检测模型是用历史缺陷显示屏外围电路图像进行全卷积网络FCN算法训练得到的;将所述待测图像输入到缺陷检测模型中得到缺陷检测结果;根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。2.根据权利要求1所述的方法,其特征在于,在所述将所述显示屏外围电路图像输入到缺陷检测模型中得到缺陷检测结果之前,还包括:以历史缺陷显示屏外围电路图像的实际像素类别对所述缺陷检测模型进行所述FCN算法训练,以使所述缺陷检测模型对所述历史缺陷显示屏外围电路图像输出的预测像素类别,与所述实际像素类别之间的损失值低于预设损失阈值。3.根据权利要求1所述的方法,其特征在于,在所述将所述显示屏外围电路图像放大或缩小之前,还包括:对所述显示屏外围电路图像进行图像预处理,其中,所述图像预处理包括下述处理中的一项或多项:裁边、剪切、旋转。4.根据权利要求1-3任一项所述的方法,其特征在于,所述将所述待测图像输入到缺陷检测模型中得到缺陷检测结果,包括:根据负载均衡策略,确定承载处理资源的检测模型服务器;将所述待测图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。5.根据权利要求1-3任一项所述的方法,其特征在于,所述缺陷检测结果,包括:缺陷类别和或缺陷图形位置;所述根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏,包括:根据生产阶段信息以及所述缺陷检测结果,确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。6.根据权利要求1-3任一项所述的方法,其特征在于,在所述根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏之后,还包括:若确定所述显示屏外围电路为损坏电路,则执行以下一项或多项操作:通过控制器向生产管理者发送报警信息;通过控制器将所述缺陷检测结果作为日志存储到生产数据库中;通过控制器向所述控制台发送生产控制指令以便消除缺陷;将所述显示屏外围电路图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。7.一种显示屏外围电路检测装置,其特征在于,包括:接收模块,用于接收部署在显示屏外围电路生产线上的控制台发送的质量检测请求,所述质量检测请求中包含所述显示屏外围电路生产线上的图像采集设备采集的显示屏外围电路图像;预处理模块,用于将所述显示屏外围电路图像放大或缩小,得到大小与缺陷检测模型的输入大小要求一致的待测图像,其中,所述缺陷检测模型是用历史缺陷显示屏外围电路图像进行全卷积网络FCN算法训练得到的;处理模块,用于将所述待测图像输入到缺陷检测模型中得到缺陷检测结果;确定模块,用于根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。8.根据权利要求7所述的装置,其特征在于,所述处理模块,还用于在所述将所述显示屏外围电路图像输入到缺陷检测模型中得到缺陷检测结果之前,以历史缺陷显示屏外围电路图像的实际像素类别对所述缺陷检测模型进行所述FCN算法训练,以使所述缺陷检测模型对所述历史缺陷显示屏外围电路图像输出的预测像素类别,与所述实际像素类别之间的损失值低于预设损失阈值。9.根据权利要求7所述的装置,其特征在于,所述预处理模块,还用于在所述将所述显示屏外围电路图像放大或缩小之前对所述显示屏外围电路图像进行图像预处理,其中,所述图像预处理包括下述处理中的一项或多项:裁边、剪切、旋转。10.根据权利要求7-9任一项所述的装置,其特征在于,所述处理模块,具体用于根据负载均衡策略,确定承载处理资源的检测模型服务器;将所述待测图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。11.根据权利要求7-9任一项所述的装置,其特征在于,所述缺陷检测结果,包括:缺陷类别和或缺陷图形位置;所述确定模块,具体用于根据生产阶段信息以及所述缺陷检测结果,确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。12.根据权利要求7-9任一项所述的装置,其特征在于,所述处理模块,还用于在所述根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏之后,若确定所述显示屏外围电路为损坏电路,则执行以下一项或多项操作:通过控制器向生产管理者发送报警信息;通过控制器将所述缺陷检测结果作为日志存储到生产数据库中;通过控制器向所述控制台发送生产控制指令以便消除缺陷;将所述显示屏外围电路图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。13.一种电子设备,包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如上述权利要求1-6任一项所述的方法。14.一种存储介质,其特征在于,所述存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如权利要求1-6任一项所述的方法。
百度查询: 北京百度网讯科技有限公司 显示屏外围电路检测方法、装置、电子设备及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。