Document
拖动滑块完成拼图
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种文本超框检测方法及装置 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

摘要:本申请公开了一种文本超框检测方法及装置,能够检测文本区域是否超出文本框、文本区域是否超出按钮以及文本区域是否与其他UI元素重叠等多种超框情况,应用场景较广泛。本申请方法包括:获取包含文本区域和用户界面UI元素的待检测图像;提取所述待检测图像的图像特征;根据所述图像特征和预置的判断规则判断所述文本区域是否存在文本超框。

主权项:1.一种文本超框检测方法,其特征在于,包括:获取包含文本区域和用户界面UI元素的待检测图像;提取所述待检测图像的图像特征;根据所述图像特征和预置的判断规则判断所述文本区域是否存在文本超框;所述提取所述待检测图像的图像特征包括:根据预置的边缘检测算法对所述待检测图像进行边缘检测并提取所述待检测图像的边缘特征;当所述边缘特征包括在边缘检测结果图像中,白色像素点最多的像素列中白色像素点的第一比例、白色像素点最多的像素列中白色像素点的第一最大连续长度以及白色像素点最多的像素列在所述检测结果图像中的第一位置时,根据所述图像特征和预置的判断规则判断所述文本区域是否存在文本超框包括:若所述第一比例和所述第一最大连续长度分别大于第一预设值和第二预设值,且所述第一位置位于预设第一范围内,则判断所述文本区域存在文本超框。

全文数据:一种文本超框检测方法及装置技术领域本申请涉及互联网技术领域,尤其涉及一种文本超框检测方法及装置。背景技术随着互联网技术的发展,人机交互越来越普遍。其中用户界面UserInterface,UI是用户与机器进行人机交互时直观面对的操作界面。UI中包含构建用户界面的各种界面元素,如视窗、文本框、按钮、图标等。在实际应用中,UI经常会出现文本超框问题。文本超框包括多种情况,包括文本区域超出文本框或按钮框,文本区域之间相互重叠导致文本区域中的文本内容显示不清晰,文本区域与其他UI元素重叠导致文本区域中的文本内容显示不清晰。目前,超框检测方法主要是根据文本区域中的文本内容和文本框容量进行检测,例如,假设需要判断UI中的一个文本区域是否存在超框现象,现有方法是根据文本内容确定需要的显示区域大小,其中文本内容包括字数、字体和字号等内容,然后比较将显示区域大小与文本框容量比较,从而确定文本区域是否会超出文本框。可以看出,上述超框检测方法仅能检测文本区域是否超出文本框,应用场景有限。发明内容本申请实施例提供了一种文本超框检测方法及装置,能够检测文本区域是否超出文本框、文本区域是否超出按钮以及文本区域是否与其他UI元素重叠等多种超框情况,应用场景较广泛。有鉴于此,本申请第一方面提供一种文本超框检测方法,包括:获取包含文本区域和用户界面UI元素的待检测图像;提取所述待检测图像的图像特征;根据所述图像特征和预置的判断规则判断所述文本区域是否存在文本超框。本申请第二方面提供一种文本超框检测装置,包括:第一获取单元,用于获取包含文本区域和UI元素的待检测图像;提取单元,用于提取所述待检测图像的图像特征;判断单元,用于根据所述图像特征和预置的判断规则判断所述文本区域是否存在文本超框。在一种可能的设计中,在本申请实施例的第二方面的第一种实现方式中,所述提取单元,用于根据预置的边缘检测算法对所述待检测图像进行边缘检测并提取所述待检测图像的边缘特征。在一种可能的设计中,在本申请实施例的第二方面的第二种实现方式中,所述边缘特征包括在边缘检测结果图像中,白色像素点最多的像素列中白色像素点的第一比例、白色像素点最多的像素列中白色像素点的第一最大连续长度以及白色像素点最多的像素列在所述检测结果图像中的第一位置;所述判断单元,用于当所述第一比例和所述第一最大连续长度分别大于第一预设值和第二预设值,且所述第一位置位于预设第一范围内时,判断所述文本区域存在文本超框。在一种可能的设计中,在本申请实施例的第二方面的第三种实现方式中,所述边缘特征包括在边缘检测结果图像中,白色像素点最多的像素行中白色像素点的第二比例、白色像素点最多的像素行中白色像素点的第二最大连续长度以及白色像素点最多的像素行在所述检测结果图像中的第二位置;所述判断单元,用于当所述第二比例和所述第二最大连续长度分别大于第三预设值和第四预设值,且所述第二位置位于预设第二范围内时,判断所述文本区域存在文本超框。在一种可能的设计中,在本申请实施例的第二方面的第四种实现方式中,所述装置还包括:第二获取单元,用于获取所述文本区域第一坐标和所述UI元素的第二坐标;确定单元,用于根据所述第一坐标和所述第二坐标确定所述文本区域和所述UI元素的重叠区域;所述提取单元,用于根据所述重叠区域提取所述待检测图像的颜色特征。在一种可能的设计中,在本申请实施例的第二方面的第五种实现方式中,所述提取单元用于:当所述重叠区域与所述文本区域的面积比大于预设第一面积比时,获取所述重叠区域的蓝色通道的第一平均值、黄色通道的第二平均值和绿色通道的第三平均值;获取所述重叠区域之外的文本区域中蓝色通道的第四平均值、黄色通道的第五平均值和绿色通道的第六平均值;所述判断单元用于:根据所述第一平均值、所述第二平均值、所述第三平均值、所述第四平均值、所述第五平均值、所述第六平均值以及阈值的判断规则判断所述文本区域是否存在文本超框。在一种可能的设计中,在本申请实施例的第二方面的第六种实现方式中,所述判断单元用于:获取所述第一平均值和所述第四平均值的差值的第一绝对值;获取所述第二平均值和所述第五平均值的差值的第二绝对值;获取所述第三平均值和所述第六平均值的差值的第三绝对值;获取所述第一绝对值、所述第二绝对值和所述第三绝对值的和作为颜色差异值;若所述颜色差异值大于预设第一差异值,则判断所述文本区域存在超框。在一种可能的设计中,在本申请实施例的第二方面的第七种实现方式中,所述提取单元用于:当所述重叠区域与所述文本区域的面积比大于预设第一面积比时,对所述待检测图像进行灰度处理;对经过灰度处理的待检测图像进行二值化分割;获取经过二值化分割的待检测图像中,所述重叠区域中白色区域的第一占比,以及除所述重叠区域之外的文本区域中白色区域的第二占比;所述判断单元用于:根据所述第一占比、所述第二占比及预置的判断规则判断所述文本区域是否存在文本超框。在一种可能的设计中,在本申请实施例的第二方面的第八种实现方式中,所述判断单元用于:若所述第一占比和所述第二占比的差值的绝对值大于预设第二差异值,则判断所述文本区域存在超框。本申请第三方面提供一种服务器,该服务器可以包括终端设备或者芯片等实体,所述服务器包括:处理器、存储器;所述存储器用于存储指令;所述处理器用于执行所述存储器中的所述指令,使得所述服务器实现前述第二方面中文本超框检测装置的功能。本申请的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机实现前述第二方面中文本超框检测装置的功能。本申请实施例第十四方面提供了一种计算机程序产品,该计算机程序产品包括计算机软件指令,该计算机软件指令可通过处理器进行加载来实现前述第二方面中文本超框检测装置的功能。从以上技术方案可以看出,本申请实施例具有以下优点:先获取包含文本区域和UI元素的待检测图像,然后提取待检测图像的图像特征,在UI中,由于按钮框或文本框存在明显的边缘,所以图像特征能够反映文本区域与边缘的相对位置,而像图案一类的UI元素往往在颜色上与文本区域存在较大差异,这种差异也能通过图像特征反映出,所以根据图像特征和预置的判断规则判断文本区域是否存在文本超框,能够检测出更多种情况的文本超框,应用场景更广泛。附图说明图1为本申请实施例中文本超框检测方法的应用场景图;图2为本申请实施例中文本超框检测方法一个实施例示意图;图3为本申请实施例中待检测图像的第一实施例示意图;图4为本申请实施例中待检测图像的第二实施例示意图;图5为本申请实施例中待检测图像的第三实施例示意图;图6为本申请实施例对图5所示的待检测图像进行边缘检测得到的边缘检测结果图像示意图;图7为本申请实施例中文本超框检测方法的另一个实施例示意图;图8为本申请实施例中文本超框检测方法的又一个实施例示意图;图9为本申请实施例中待检测图像的第四实施例示意图;图10为本申请实施例中文本超框检测方法的还一个实施例示意图;图11为对图4所示的待检测图像进行灰度处理和二值化分割后得到的图像;图12为本申请实施例提供的一种文本超框检测装置的一个实施例示意图;图13为本申请实施例提供的一种文本超框检测装置的另一个实施例示意图;图14为本申请实施例提供的终端设备的一个结构示意图。具体实施方式本申请实施例提供了一种文本超框检测方法及装置,能够检测文本区域是否超出文本框、文本区域是否超出按钮以及文本区域是否与其他UI元素重叠等多种超框情况,应用场景较广泛。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等如果存在是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。应理解,本申请提供一种文本超框检测方法,应用于UI场景,具体地,可参阅图1,本申请实施例中文本超框检测方法的应用场景图。图1所示的是一个系统的登录用户界面,该登录用户界面中的元素包含文本区域、按钮和图标,其中文本区域具体包括“用户名”、“密码”、“验证码”和“登录”,“登录”分布在按钮框内,图标为放大镜。从图1中可以看出,虽然文本区域“登录”并没有超出按钮框,但UI元素按钮与文本区域“验证码”发生重叠,导致文本内容验证码显示不完全。如图1所示,UI元素按钮的颜色较深,而文本区域中的字体呈白色,所以文本区域的平均颜色较浅,当UI元素按钮和文本区域发生重叠时,必定导致文本区域原本的颜色发生变化,具体地,由于文本区域中的部分区域被UI元素按钮遮挡,所以文本区域的的平均颜色会加深,这种变化可以通过图像特征反映出来。所以本申请实施例中提供的文本超框检测方法,基于图像特征对文本超框进行检测,能够检测出图1所示的文本超框现象。需要说明的是,一般情况下,文本区域和UI元素的图像特征本身就存在一定差异,所以使用本申请的方法检测文本区域是否超框具有较好地效果,本申请提供的文本超框检测方法适用于多种场景,不仅能够检测出图1所示的文本超框现象,还能够检测出图像特征发生变化的任何其他文本超框现象。为了便于理解,请参阅图2,图2为本申请实施例中文本超框检测方法的一个实施例示意图。本申请实施例提供了一种文本超框检测方法,包括:101,获取包含文本区域和用户界面UI元素的待检测图像。由于本申请实施例需要检测文本区域是否存在超框,所以待检测图像中包含文本区域,由于文本区域与文本区域的重叠可以直接通过文本区域的坐标进行检测,所以本申请实施例主要检测与UI元素和文本区域相关的文本超框问题,所以待检测图像中包含UI元素。需要说明的是,待检测图像可以是以文本框为边界的文本区域,为了方便判断文本区域是否存在超框,本申请实施例对文本区域上下左右各扩展一定的像素,并将扩展后的图像作为待检测图像。在本申请实施例中,待检测图像可以是完整的用户界面图像,也可以是用户界面的局部图像,如图3所示,本申请实施例中待检测图像的第一实施例示意图,图3示出的是用户界面的局部图像;UI元素可以是完整的,也可以是部分UI元素的一部分,如图4所示,本申请实施例中待检测图像的第二实施例示意图,在图4中,左侧五边形区域为人物服饰图标的一部分,由于该部分与文本区域发生重叠,所以仅通过左侧五边形区域和文本区域便能够检测出文本区域是否存在超框;同理,文本区域可以是完整的文本区域,也可以是部分文本区域,此处不做详述。102,提取待检测图像的图像特征。在本申请实施例中,图像特征可以包括颜色特征、纹理特征、形状特征和空间关系特征;其中空间关系特征可以理解为待检测图像中两个区域之间的相对位置关系,例如文本区域和UI元素的相对位置关系,而颜色特征、纹理特征和形状特征容易理解,本申请实施例在此不做详述。可以理解的是,图像特征与待检测图像相关,不同待检测图像的图像特征不同;例如,同一文本区域与不同UI元素构成的待检测图像的图像特征可以不同,不同文本区域与同一UI元素构成的待检测图像的图像特征也可以不同。另外,当文本区域存在文本超框时,颜色特征、纹理特征、形状特征和空间关系特征都可能反映出文本超框现象。所以基于上述原因,本申请实施例对图像特征不做限定,只要能够反映出文本超框现象即可。103,根据图像特征和预置的判断规则判断文本区域是否存在文本超框。可以理解的是,判断规则包括多种,与图像特征对应,所以图像特征不同,对应的判断规则和具体的判断方法也不同,本申请实施例对此不做限定。在本申请实施例中,先获取包含文本区域和UI元素的待检测图像,然后提取待检测图像的图像特征,在UI中,由于按钮框或文本框存在明显的边缘,所以图像特征能够反映文本区域与边缘的相对位置,而像图案一类的UI元素往往在颜色上与文本区域存在较大差异,这种差异也能通过图像特征反映出,所以根据图像特征和预置的判断规则判断文本区域是否存在文本超框,能够检测出更多种情况的文本超框,应用场景更广泛。其中,提取图像特征包括多种方法,本申请实施例下面将对提取图像特征的方法进行具体介绍。在本申请实施例提供的文本超框检测方法的另一个实施例中,提取待检测图像的图像特征包括:根据预置的边缘检测算法对待检测图像进行边缘检测并提取待检测图像的边缘特征。请参阅图5,本申请实施例中待检测图像的第三实施例示意图。在本申请实施例中,采用边缘检测算法对图5所示的待检测图像进行边缘检测,得到的边缘检测结果图像如图6所示,然后从图6所示的边缘检测结果图像中提取边缘特征。其中,边缘特征可以包括多种特征。在本申请实施例提供的文本超框检测方法的另一个实施例中,边缘特征包括在边缘检测结果图像中,白色像素点最多的像素列中白色像素点的第一比例、白色像素点最多的像素列中白色像素点的第一最大连续长度以及白色像素点最多的像素列在检测结果图像中的第一位置。可以理解的是,以图6为例,检测白色像素点最多的像素列,假设图6中“Hero”的“e”处的一列像素列的白色像素点最多,该列一共180个像素点,其中白色像素点为120个,那么第一比例则为23,在这120个白色像素点中,有的白色像素点是连续的,有的白色像素点之间间隔有黑色像素点,本申请实施例获取连续数量最多对应的第一最大连续长度;第一位置可以是绝对位置,也可以是相对位置,绝对位置可以理解为在整个UI界面中的位置,相对位置可以理解为在待检测图像中的位置,其中位置可以用坐标来表示。当边缘特征为上述特征时,根据图像特征和预置的判断规则判断文本区域是否存在文本超框可以包括:若第一比例和第一最大连续长度分别大于第一预设值和第二预设值,且第一位置位于预设第一范围内,则判断文本区域存在文本超框。在本申请实施例中,通过第一预设值和第二预设值的限定,分别保证白色像素点最多的像素列中白色像素点的个数和分布,而白色像素点最多的像素列往往是UI元素的边框,尤其是当UI元素为文本框或按钮框时;这里仍然以图5和图6所示的为例,从图5中可以看出,待检测图像中包括文本区域和文本框,并且该文本框是近似矩形的,所以获取图6中的白色像素点最多的像素列则为文本框的一条边框,当第一比例和第一最大连续长度分别大于第一预设值和第二预设值时,说明文本框的边框足够长,此时,只要第一位置在第一范围内,就可以保证该文本框的边框能够穿过文本区域,从而造成文本超框。可以理解的是,该第一范围可以根据实际情况进行设定,一般情况下,第一范围为待检测图像位于中间的一个范围,从图6可以看出,若第一范围设为待检测图像的边缘位置,该边缘位置不存在文本内容,所以即使文本框的边框足够长,也不能穿过文本区域,因此不会造成文本超框。在本申请实施例提供的文本超框检测方法的另一个实施例中,边缘特征包括在边缘检测结果图像中,白色像素点最多的像素行中白色像素点的第二比例、白色像素点最多的像素行中白色像素点的第二最大连续长度以及白色像素点最多的像素行在检测结果图像中的第二位置;根据图像特征和预置的判断规则判断文本区域是否存在文本超框包括:若第二比例和第二最大连续长度分别大于第三预设值和第四预设值,且第二位置位于预设第二范围内,则判断文本区域存在文本超框。需要说明的是,在前述实施例中,是基于像素列判断文本区域是否存在超框,而本申请实施例是基于像素行判断文本区域是否超框,具体过程与基于像素列判断文本区域是否存在超框的过程类似,在此不做详述。需要说明的是,上面介绍了通过边缘特征判断文本区域是否存在超框的具体过程,下面将介绍通过颜色特征判断文本区域是否存在超框的具体过程。请参阅图7,图7为本申请实施例中文本超框检测方法的另一个实施例示意图。本申请实施例提供了一种文本超框检测方法的一个实施例,包括:201,获取包含文本区域和用户界面UI元素的待检测图像。本申请实施例中,步骤201与前述实施例中步骤101类似,故在此不做详述。202,获取文本区域第一坐标和UI元素的第二坐标。可以理解的是,第一坐标可以为文本区域框的坐标,第二坐标可以为UI元素框的坐标。203,根据第一坐标和第二坐标确定文本区域和UI元素的重叠区域。可以理解的是,根据第一坐标和第二坐标进行坐标计算,可以确定重叠区域,具体计算方法为较成熟的技术,在此不做详述。204,根据重叠区域提取待检测图像的颜色特征。需要说明的是,在实际应用中,当UI元素和文本区域存在重叠区域时,文本区域也可能不存在文本超框;例如,当UI元素不能充满UI元素框时,由于重叠区域时根据UI元素框的坐标计算得到的,所以即使存在重叠区域,但实际上UI元素并没有与文本区域发生重叠,此时文本区域不存在文本超框,所以仅根据坐标计算重叠区域的大小,并不能准确判断文本区域是否存在超框。再例如,部分UI元素存在透明属性,即使UI元素与文本区域发生重叠,但UI元素为透明属性,所以不会造成文本区域中的文本内容不清晰,所以也不存在文本区域超框。基于上述分析,为了更准确地判断文本区域是否存在超框,本申请实施例提取待检测图像中重叠区域的颜色特征,以根据颜色特征判断文本区域是否存在文本超框。205,根据图像特征和预置的判断规则判断文本区域是否存在文本超框。需要说明的是,在本申请实施例中,图像特征为步骤204提取到的颜色特征,颜色特征不同,对应的判断规则和判断过程不同,本申请实施例对颜色特征和判断规则不做具体限定,只要能够判断文本区域是否存在文本超框即可,下面将针对不同的颜色特征对判断过程进行具体介绍。请参阅图8,图8为本申请实施例中文本超框检测方法的又一个实施例示意图。本申请实施例提供了一种文本超框检测方法的一个实施例,包括:301,获取包含文本区域和用户界面UI元素的待检测图像。302,获取文本区域第一坐标和UI元素的第二坐标。303,根据第一坐标和第二坐标确定文本区域和UI元素的重叠区域。304,若重叠区域与文本区域的面积比大于预设第一面积比,则获取重叠区域的蓝色通道的第一平均值、黄色通道的第二平均值和绿色通道的第三平均值。在本申请实施例中,先对重叠区域的大小进行确定,具体是根据重叠区域与文本区域的面积比进行确定,当面积比大于预设第一面积比时,代表重叠区域相对于文本区域来说足够大,所以存在文本超框的可能;而当面积比不大于预设第一面积比时,代表重叠区域很小,所以重叠区域覆盖文本区域中文本内容的可能性较小。以图9为例,图9为本申请实施例中待检测图像的第四实施例示意图。假设,图9所示的整个待检测图像为文本区域,图9左下方的圆圈区域代表重叠区域,可以看出重叠区域较小,因此面积比也较小,此时重叠区域并没有覆盖文本区域中文本内容,所以不存在文本超框。因此,本申请实施例在面积比大于预设第一面积比的情况下,才对文本超框进行判断。预设第一面积比可以根据实际需要进行设置,例如可以设置为0.05,也可以设置为0.08。可以理解的是,在目前的一种颜色系统中,所有颜色都是通过对蓝色通道、黄色通道和绿色通道的变化和叠加来构建各种颜色,因此,本申请实施例获取重叠区域中的这三个颜色通道的平均值,用着三个颜色通道的平均值表示重叠区域的颜色特征。305,获取重叠区域之外的文本区域中蓝色通道的第四平均值、黄色通道的第五平均值和绿色通道的第六平均值。可以理解的是,获取重叠区域之外的文本区域中三个颜色通道的平均值,用于表示重叠区域之外的文本区域的颜色特征。306,根据第一平均值、第二平均值、第三平均值、第四平均值、第五平均值、第六平均值以及阈值的判断规则判断文本区域是否存在文本超框。需要说明的是,根据这六个平均值可以有多种判断方法,本申请实施例对此不做限定。下面将以一种为例进行详细说明。在本申请实施例提供的文本超框检测方法的另一个实施例中,根据第一平均值、第二平均值、第三平均值、第四平均值、第五平均值、第六平均值以及阈值的判断规则判断文本区域是否存在文本超框包括:获取第一平均值和第四平均值的差值的第一绝对值;获取第二平均值和第五平均值的差值的第二绝对值;获取第三平均值和第六平均值的差值的第三绝对值;获取第一绝对值、第二绝对值和第三绝对值的和作为颜色差异值;若颜色差异值大于预设第一差异值,则判断文本区域存在超框。在本申请实施例中,获取重叠区域内和重叠区域外的文本区域在各个颜色通道下的差值,根据差值确定重叠区域和重叠区域外的文本区域的颜色差异值,当颜色差异值大于预设第一差异值时,认为重叠区域的颜色特征与和重叠区域外的文本区域的颜色特征存在较大差异,则判断文本区域存在超框;其中,第一差异值也可以根据实际需要进行设置,例如可以设置为150,160或170。上述实施例是通过颜色特征判断文本区域是否存在超框的一种方法,下面将介绍另一种通过颜色特征判断文本区域是否存在超框的方法。请参阅图10,图10为本申请实施例中文本超框检测方法的还一个实施例示意图。本申请实施例提供了一种文本超框检测方法的一个实施例,包括:401,获取包含文本区域和用户界面UI元素的待检测图像。需要说明的是,步骤401与步骤301相同,此处不做详述。402,获取文本区域第一坐标和UI元素的第二坐标。需要说明的是,步骤402与步骤302相同,此处不做详述。403,根据第一坐标和第二坐标确定文本区域和UI元素的重叠区域。需要说明的是,步骤403与步骤303相同,此处不做详述。404,若重叠区域与文本区域的面积比大于预设第一面积比,则对待检测图像进行灰度处理。需要说明的是,灰度处理是较成熟的技术,故在此不做详述。405,对经过灰度处理的待检测图像进行二值化分割。需要说明的是,二值化分割同样是较成熟的技术,经过二值化分割后,待检测图像将变成只有黑白两色的图像。为了更好地理解二值化分割,本申请实施例以图4所示的待检测图像为例进行详细说明。对图4所示的待检测图像进行灰度处理和二值化分割后,得到的图像如图11所示。406,获取经过二值化分割的待检测图像中,重叠区域中白色区域的第一占比,以及除重叠区域之外的文本区域中白色区域的第二占比。对照图4和图11可以看出,重叠区域全为白色区域,而文本区域中的非重叠区域仅有文本内容所在区域为白色区域。在本申请实施例中,采用白色区域的第一占比表示重叠区域的颜色特征,采用白色区域的第二占比表示除重叠区域之外的文本区域的颜色特征。407,根据第一占比、第二占比及预置的判断规则判断文本区域是否存在文本超框。需要说明的是,根据第一占比和第二占比判断是否存在文本超框的方法多多种。例如可以直接将第一占比和第二占比比较,则根据第一占比、第二占比及预置的判断规则判断文本区域是否存在文本超框包括:若第一占比和第二占比的差值的绝对值大于预设第二差异值,则判断文本区域存在超框。除此之外,还可以对第一占比和第二占比分别乘以相应地权重,然后再进行比较,具体不做详述。请参阅图12,本申请实施例提供的一种文本超框检测装置的一个实施例示意图。如图12所示,本申请实施例提供一种文本超框检测装置,包括:第一获取单元121,用于获取包含文本区域和UI元素的待检测图像;提取单元122,用于提取待检测图像的图像特征;判断单元123,用于根据图像特征和预置的判断规则判断文本区域是否存在文本超框。在本申请实施例提供的文本超框检测方法的另一个实施例中,提取单元121,用于根据预置的边缘检测算法对待检测图像进行边缘检测并提取待检测图像的边缘特征。在本申请实施例提供的文本超框检测方法的另一个实施例中,边缘特征包括在边缘检测结果图像中,白色像素点最多的像素列中白色像素点的第一比例、白色像素点最多的像素列中白色像素点的第一最大连续长度以及白色像素点最多的像素列在检测结果图像中的第一位置;判断单元123,用于当第一比例和第一最大连续长度分别大于第一预设值和第二预设值,且第一位置位于预设第一范围内时,判断文本区域存在文本超框。在本申请实施例提供的文本超框检测方法的另一个实施例中,边缘特征包括在边缘检测结果图像中,白色像素点最多的像素行中白色像素点的第二比例、白色像素点最多的像素行中白色像素点的第二最大连续长度以及白色像素点最多的像素行在检测结果图像中的第二位置;判断单元123,用于当第二比例和第二最大连续长度分别大于第三预设值和第四预设值,且第二位置位于预设第二范围内时,判断文本区域存在文本超框。请参阅图13,本申请实施例提供的一种文本超框检测装置的另一个实施例示意图。如图13所示,本申请实施例提供一种文本超框检测装置,包括:第一获取单元131,用于获取包含文本区域和UI元素的待检测图像;第二获取单元132,用于获取文本区域第一坐标和UI元素的第二坐标;确定单元133,用于根据第一坐标和第二坐标确定文本区域和UI元素的重叠区域;提取单元134,用于根据重叠区域提取待检测图像的颜色特征。判断单元135,用于根据图像特征和预置的判断规则判断文本区域是否存在文本超框。本申请实施例提供的文本超框检测方法的另一个实施例中,提取单元134用于:当重叠区域与文本区域的面积比大于预设第一面积比时,获取重叠区域的蓝色通道的第一平均值、黄色通道的第二平均值和绿色通道的第三平均值;获取重叠区域之外的文本区域中蓝色通道的第四平均值、黄色通道的第五平均值和绿色通道的第六平均值;判断单元135用于:根据第一平均值、第二平均值、第三平均值、第四平均值、第五平均值、第六平均值以及阈值的判断规则判断文本区域是否存在文本超框。本申请实施例提供的文本超框检测方法的另一个实施例中,判断单元135用于:获取第一平均值和第四平均值的差值的第一绝对值;获取第二平均值和第五平均值的差值的第二绝对值;获取第三平均值和第六平均值的差值的第三绝对值;获取第一绝对值、第二绝对值和第三绝对值的和作为颜色差异值;若颜色差异值大于预设第一差异值,则判断文本区域存在超框。本申请实施例提供的文本超框检测方法的另一个实施例中,提取单元134用于:当重叠区域与文本区域的面积比大于预设第一面积比时,对待检测图像进行灰度处理;对经过灰度处理的待检测图像进行二值化分割;获取经过二值化分割的待检测图像中,重叠区域中白色区域的第一占比,以及除重叠区域之外的文本区域中白色区域的第二占比;判断单元135用于:根据第一占比、第二占比及预置的判断规则判断文本区域是否存在文本超框。本申请实施例提供的文本超框检测方法的另一个实施例中,判断单元135用于:若第一占比和第二占比的差值的绝对值大于预设第二差异值,则判断文本区域存在超框。接下来,本申请实施例还提供了一种终端设备,如图14所示,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该属性信息展示装置可以为包括手机、平板电脑、个人数字助理PersonalDigitalAssistant,PDA、销售终端PointofSales,POS、车载电脑等任意终端设备,以属性信息展示装置为手机为例:图14示出的是与本发明实施例提供的属性信息展示装置相关的手机的部分结构的框图。参考图14,手机包括:射频RadioFrequency,RF电路1410、存储器1420、输入单元1430、显示单元1440、传感器1450、音频电路1460、无线保真wirelessfidelity,WiFi模块1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解,图14中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。下面结合图14对手机的各个构成部件进行具体地介绍:RF电路1410可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1480处理;另外,将设计上行的数据发送给基站。通常,RF电路1410包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器LowNoiseAmplifier,LNA、双工器等。此外,RF电路1410还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统GlobalSystemofMobilecommunication,GSM、通用分组无线服务GeneralPacketRadioService,GPRS、码分多址CodeDivisionMultIPleAccess,CDMA、宽带码分多址WidebandCodeDivisionMultIPleAccess,WCDMA、长期演进LongTermEvolution,LTE、电子邮件、短消息服务ShortMessagingService,SMS等。存储器1420可用于存储软件程序以及模块,处理器1480通过运行存储在存储器1420的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1420可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序比如声音播放功能、图像播放功能等等;存储数据区可存储根据手机的使用所创建的数据比如音频数据、电话本等等。此外,存储器1420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。输入单元1430可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1430可包括触控面板1431以及其他输入设备1414。触控面板1431,也称为触摸屏,可收集用户在其上或附近的触摸操作比如用户使用手指、触笔等任何适合的物体或附件在触控面板1431上或在触控面板1431附近的操作,并根据预先设定的程式驱动相应的连接装置。可选地,触控面板1431可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1480,并能接收处理器1480发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1431。除了触控面板1431,输入单元1430还可以包括其他输入设备1414。具体地,其他输入设备1414可以包括但不限于物理键盘、功能键比如音量控制按键、开关按键等、轨迹球、鼠标、操作杆等中的一种或多种。显示单元1440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1440可包括显示面板1441,可选地,可以采用液晶显示器LiquidCrystalDisplay,LCD、有机发光二极管OrganicLight-EmittingDiode,OLED等形式来配置显示面板1441。进一步地,触控面板1431可覆盖显示面板1441,当触控面板1431检测到在其上或附近的触摸操作后,传送给处理器1480以确定触摸事件的类型,随后处理器1480根据触摸事件的类型在显示面板1441上提供相应的视觉输出。虽然在图14中,触控面板1431与显示面板1441是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板1431与显示面板1441集成而实现手机的输入和输出功能。手机还可包括至少一种传感器1450,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1441的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1441和或背光。作为运动传感器的一种,加速计传感器可检测各个方向上一般为三轴加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用比如横竖屏切换、相关游戏、磁力计姿态校准、振动识别相关功能比如计步器、敲击等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。音频电路1460、扬声器1461,传声器1462可提供用户与手机之间的音频接口。音频电路1460可将接收到的音频数据转换后的电信号,传输到扬声器1461,由扬声器1461转换为声音信号输出;另一方面,传声器1462将收集的声音信号转换为电信号,由音频电路1460接收后转换为音频数据,再将音频数据输出处理器1480处理后,经RF电路1410以发送给比如另一手机,或者将音频数据输出至存储器1420以便进一步处理。WiFi属于短距离无线传输技术,手机通过WiFi模块1470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图14示出了WiFi模块1470,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。处理器1480是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1420内的软件程序和或模块,以及调用存储在存储器1420内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选地,处理器1480可包括一个或多个处理单元;可选地,处理器1480可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1480中。手机还包括给各个部件供电的电源1490比如电池,可选地,电源可以通过电源管理系统与处理器1480逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。尽管未示出,手机还可以包括摄像模块、蓝牙模块等,在此不再赘述。在本发明实施例中,该终端设备所包括的处理器1480还具有前述文本超框检测装置的功能。本申请实施例还提供了一种计算机存储介质,该计算机存储介质用于储存为上述文本超框检测装置所用的计算机软件指令,其包括用于执行为文本超框检测装置或终端设备所设计的程序。本申请实施例中还提供一种包括电子支付指令的计算机程序产品,当其在计算机上运行时,使得计算机实现前述文本超框检测装置的功能。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备可以是个人计算机,服务器,或者网络设备等执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器read-onlymemory,ROM、随机存取存储器randomaccessmemory,RAM、磁碟或者光盘等各种可以存储程序代码的介质。以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

权利要求:1.一种文本超框检测方法,其特征在于,包括:获取包含文本区域和用户界面UI元素的待检测图像;提取所述待检测图像的图像特征;根据所述图像特征和预置的判断规则判断所述文本区域是否存在文本超框。2.根据权利要求1所述的文本超框检测方法,其特征在于,所述提取所述待检测图像的图像特征包括:根据预置的边缘检测算法对所述待检测图像进行边缘检测并提取所述待检测图像的边缘特征。3.根据权利要求2所述的文本超框检测方法,其特征在于,所述边缘特征包括在边缘检测结果图像中,白色像素点最多的像素列中白色像素点的第一比例、白色像素点最多的像素列中白色像素点的第一最大连续长度以及白色像素点最多的像素列在所述检测结果图像中的第一位置;根据所述图像特征和预置的判断规则判断所述文本区域是否存在文本超框包括:若所述第一比例和所述第一最大连续长度分别大于第一预设值和第二预设值,且所述第一位置位于预设第一范围内,则判断所述文本区域存在文本超框。4.根据权利要求2所述的文本超框检测方法,其特征在于,所述边缘特征包括在边缘检测结果图像中,白色像素点最多的像素行中白色像素点的第二比例、白色像素点最多的像素行中白色像素点的第二最大连续长度以及白色像素点最多的像素行在所述检测结果图像中的第二位置;根据所述图像特征和预置的判断规则判断所述文本区域是否存在文本超框包括:若所述第二比例和所述第二最大连续长度分别大于第三预设值和第四预设值,且所述第二位置位于预设第二范围内,则判断所述文本区域存在文本超框。5.根据权利要求1所述的文本超框检测方法,其特征在于,在所述提取所述待检测图像的图像特征之前,还包括:获取所述文本区域第一坐标和所述UI元素的第二坐标;根据所述第一坐标和所述第二坐标确定所述文本区域和所述UI元素的重叠区域;所述提取所述待检测图像的图像特征包括:根据所述重叠区域提取所述待检测图像的颜色特征。6.据权利要求5所述的文本超框检测方法,其特征在于,根据所述重叠区域提取所述待检测图像的颜色特征包括:若所述重叠区域与所述文本区域的面积比大于预设第一面积比,则获取所述重叠区域的蓝色通道的第一平均值、黄色通道的第二平均值和绿色通道的第三平均值;获取所述重叠区域之外的文本区域中蓝色通道的第四平均值、黄色通道的第五平均值和绿色通道的第六平均值;根据所述图像特征和预置的判断规则判断所述文本区域是否存在文本超框包括:根据所述第一平均值、所述第二平均值、所述第三平均值、所述第四平均值、所述第五平均值、所述第六平均值以及阈值的判断规则判断所述文本区域是否存在文本超框。7.据权利要求6所述的文本超框检测方法,其特征在于,所述根据所述第一平均值、所述第二平均值、所述第三平均值、所述第四平均值、所述第五平均值、所述第六平均值以及阈值的判断规则判断所述文本区域是否存在文本超框包括:获取所述第一平均值和所述第四平均值的差值的第一绝对值;获取所述第二平均值和所述第五平均值的差值的第二绝对值;获取所述第三平均值和所述第六平均值的差值的第三绝对值;获取所述第一绝对值、所述第二绝对值和所述第三绝对值的和作为颜色差异值;若所述颜色差异值大于预设第一差异值,则判断所述文本区域存在超框。8.根据权利要求5所述的文本超框检测方法,其特征在于,根据所述重叠区域提取所述待检测图像的颜色特征包括:若所述重叠区域与所述文本区域的面积比大于预设第一面积比,则对所述待检测图像进行灰度处理;对经过灰度处理的待检测图像进行二值化分割;获取经过二值化分割的待检测图像中,所述重叠区域中白色区域的第一占比,以及除所述重叠区域之外的文本区域中白色区域的第二占比;根据所述图像特征和预置的判断规则判断所述文本区域是否存在文本超框包括:根据所述第一占比、所述第二占比及预置的判断规则判断所述文本区域是否存在文本超框。9.根据权利要求8所述的文本超框检测方法,其特征在于,所述根据所述第一占比、所述第二占比及预置的判断规则判断所述文本区域是否存在文本超框包括:若所述第一占比和所述第二占比的差值的绝对值大于预设第二差异值,则判断所述文本区域存在超框。10.一种文本超框检测装置,其特征在于,包括:第一获取单元,用于获取包含文本区域和UI元素的待检测图像;提取单元,用于提取所述待检测图像的图像特征;判断单元,用于根据所述图像特征和预置的判断规则判断所述文本区域是否存在文本超框。

百度查询: 腾讯科技(深圳)有限公司 一种文本超框检测方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。