买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东师范大学

摘要：本发明公开了基于跨域监督信号引导注意力生成的场景文本识别方法。该方法在编码阶段提取文本核心区域作为监督信号递归地进行注意力引导，使用门控机制将引导注意力生成的编码信息与无引导注意力生成的编码信息进行融合，增强编码信息的鲁棒性；在解码阶段结合高效并行的自适应转换解码器来进行解码，防止解码阶段的注意力偏移，提升模型的识别性能。此外，在训练阶段，该方法采用人工引导与模型自适应学习的融合策略精准地学习文本的核心区域，从而为注意力引导提供正确的监督信号。

主权项：1.一种基于跨域监督信号引导注意力生成的场景文本识别方法，其特征在于：在编码阶段，通过提取文本的核心区域作为监督信号，递归地以跨域的方式使用CNN域提取的监督信号引导Transformer域的注意力在特征编码过程中进行学习，缓解编码过程中注意力漂移，并使用引导注意力对编码信息进行矫正，然后使用门控机制与原始的基于注意力的编码信息进行自适应融合，获得最终的文本特征编码，在解码阶段，对上述获取的编码结果使用非注意力的自适应转换解码器来进行解码，缓解解码阶段的注意力偏移，该方法包括以下步骤：S1、构建用于人工引导文本核心区域生成的真实值标签，它通过包围字符的最小矩形框xmin,ymin,xmax,ymax向中心缩放γ倍构成；S2、构建特征提取器，该特征提取器用于文本特征提取以及文本核心区域生成，其中，文本核心区域是由构建的特征金字塔网络结构生成；S3、在编码阶段，首先使用多个基础的ViT块进行特征编码，将编码信息输入注意力引导模块，然后，将S2步骤中获取的文本核心区域作为监督信号来引导Transformer中注意力生成，该引导过程使用跨域的方式递归的将CNN域中获取的监督信号引导Transformer域的注意力生成，并使用引导后的注意力对ViT块中输出的编码信息进行矫正，最后，将引导注意力生成的编码信息与无引导注意力生成的编码信息输入到特征融合模块，该模块使用门控机制将两种编码信息进行融合，以获取最终的编码信息；S4、在解码阶段，使用一系列的1×1卷积块以及压缩和变换等常规的矩阵操作构建非注意力的自适应解码器，该解码器接受编码阶段的输出作为输入，并输出解码结果得到字符序列；S5、在训练阶段，采用人工引导与模型自适应学习的融合训练策略学习方法，其中，人工引导方式为使用S1中构建的文本核心区域作为监督信息监督特征提取器中文本核心区域的学习，使模型能够具备提取文本核心区域的能力，模型自适应学习使用上述人工引导方式获得的模型作为基础，在没有文本核心区域作为监督，只有文本识别结果作为监督的情况下，自适应的学习模型自身理解的且对文本识别有作用的文本核心区域。

全文数据：

权利要求：

百度查询： 山东师范大学 基于跨域监督信号引导注意力生成的场景文本识别方法