买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广电运通集团股份有限公司

摘要：本申请公开了一种票据信息提取方法、装置及票据信息提取系统，属于计算机视觉技术领域。该方法包括：获取待处理的票据图像，票据图像包括多个文本区域；对票据图像进行文本检测与识别，确定票据图像的多个文本位置信息和多个文本内容信息，文本位置信息以及文本内容信息与文本区域一一对应；将票据图像、文本位置信息和文本内容信息输入至多模态融合模块，获得多模态融合模块输出的视觉语义融合特征向量；将视觉语义融合特征向量和文本位置信息输入至图推理模块，根据多个文本区域的区域位置关系进行推理，获得图推理模块输出的节点特征向量；将节点特征向量输入至分类模块，获得分类模块输出的票据信息。该方法可以准确高效地提取票据信息。

主权项：1.一种票据信息提取方法，其特征在于，包括：获取待处理的票据图像，所述票据图像包括多个文本区域；对所述票据图像进行文本检测与识别，确定所述票据图像的多个文本位置信息和多个文本内容信息，所述文本位置信息以及所述文本内容信息与所述文本区域一一对应；将所述票据图像、所述文本位置信息和所述文本内容信息输入至票据信息提取模型，获得所述票据信息提取模型输出的票据信息；其中，所述票据信息提取模型包括多模态融合模块、图推理模块和分类模块，所述将所述票据图像、所述文本位置信息和所述文本内容信息输入至票据信息提取模型，获得所述票据信息提取模型输出的票据信息，进一步包括：将所述票据图像、所述文本位置信息和所述文本内容信息输入至所述多模态融合模块，获得所述多模态融合模块输出的视觉语义融合特征向量；将所述视觉语义融合特征向量和所述文本位置信息输入至所述图推理模块，根据所述多个文本区域的区域位置关系进行推理，获得所述图推理模块输出的节点特征向量；将所述节点特征向量输入至所述分类模块，获得所述分类模块输出的所述票据信息；所述将所述视觉语义融合特征向量和所述文本位置信息输入至所述图推理模块，根据所述多个文本区域的区域位置关系进行推理，获得所述图推理模块输出的节点特征向量，包括：基于所述文本位置信息，确定所述多个文本区域的区域位置关系；基于所述区域位置关系，确定所述视觉语义融合特征向量中节点之间的权重信息，所述视觉语义融合特征向量中每个所述节点对应一个所述文本区域；基于所述权重信息和所述视觉语义融合特征向量，获得节点特征向量；两个文本区域间的区域位置关系基于两个文本区域之间的距离以及两个文本区域之间的相对形状关系确定。

全文数据：

权利要求：

百度查询： 广电运通集团股份有限公司 票据信息提取方法、装置及票据信息提取系统