浙江华东工程数字技术有限公司;中国电建集团华东勘测设计研究院有限公司黄济富获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江华东工程数字技术有限公司;中国电建集团华东勘测设计研究院有限公司申请的专利一种基于多模态信息抽取的工程图纸图签识别方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119964171B 。
龙图腾网通过国家知识产权局官网在2025-07-11发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510450366.7,技术领域涉及:G06V30/148;该发明授权一种基于多模态信息抽取的工程图纸图签识别方法及系统是由黄济富;刘国阳;何栓康;蒙静远设计研发完成,并于2025-04-11向国家知识产权局提交的专利申请。
本一种基于多模态信息抽取的工程图纸图签识别方法及系统在说明书摘要公布了:本发明公开了一种基于多模态信息抽取的工程图纸图签识别方法及系统,所述方法包括,获取工程图纸图像并对图像进行预处理,设定控制抽取目标和关系模式的数据结构Schema;通过训练好的图签检测模型检测图纸中的图签区域,得到每个图签的边界框坐标,将检测到的边界框坐标映射回原始图像的坐标系,并从原始图像中裁剪出对应的图签图像;对裁剪出的图签图像进行文本识别,提取出文本内容及对应的文本框坐标信息;将裁剪出的图签图像与文本识别结果输入至训练好的多模态信息抽取模型,并根据设定的Schema进行信息抽取,输出结构化的抽取结果。该方法可灵活定义抽取目标,支持二元组和三元组的统一抽取,抽取准确性高。
本发明授权一种基于多模态信息抽取的工程图纸图签识别方法及系统在权利要求书中公布了:1.一种基于多模态信息抽取的工程图纸图签识别方法,其特征在于,包括, 获取工程图纸图像并对图像进行预处理,且设定控制抽取目标和关系模式的数据结构Schema,包括二元组数据结构和或三元组数据结构; 通过训练好的图签检测模型检测图纸中的图签区域,得到每个图签的边界框坐标,并将检测到的边界框坐标从预处理后图像的坐标系映射回原始图像的坐标系,以从原始图像中裁剪出对应的图签区域图像; 对裁剪出的图签图像进行文本识别,提取出文本内容及对应的文本框坐标信息; 构建多模态信息抽取模型并将裁剪出的图签图像与文本识别结果输入至训练好的多模态信息抽取模型,且根据设定的控制抽取目标和关系模式的数据结构Schema进行信息抽取,输出结构化的抽取结果;所述构建多模态信息抽取模型包括, 对所述图签检测模型检测后的图纸进行标注并构建训练数据集,标注包括二元组图签标注和三元组图签标注; 获取图纸图像并进行识别提取图像的文本内容和二维布局信息,二维布局信息为文本序列的边界框坐标信息; 基于预设定的结构化Schema信息构建结构化模式引导器提示词引导多模态信息抽取模型进行特定类型的信息抽取; 融合文本向量和图像向量,构建多模态输入向量; 搭建多模态模型架构,并将多模态模型的输出作为输入接入两个独立的前馈神经网络,两个独立的前馈神经网络分别用于预测目标值的开始位置和结束位置;其中,搭建多模态模型架构包括,使用LayoutLMv3的多层Transformer架构捕捉复杂特征,并进行多层Transformer堆叠,其中每层Transformer通过自注意力和前馈网络逐步提取跨模态上下文表示;每层Transformer包含多头自注意力机制、位置偏置以及全连接前馈网络;多头自注意力机制,用于捕捉文本、图像和结构化模式引导器提示词间的交互信息;位置偏置,用于引入语义一维相对位置和空间二维相对位置,增强模态间对齐能力;全连接前馈网络用于对多头自注意力机制的输出进行非线性变换,提取和转换特征; 基于构建的数据集对模型进行训练,并根据训练数据集中划分的验证集评估模型结构并进行模型超参数调整; 对抽取结果进行后处理,包括特定字段的格式校验和冗余结果的相似度检测与过滤。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江华东工程数字技术有限公司;中国电建集团华东勘测设计研究院有限公司,其通讯地址为:311100 浙江省杭州市余杭区余杭街道文一西路1818-2号9幢301室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。