重庆邮电大学胡敏获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉重庆邮电大学申请的专利一种文本知识增强的场景图生成方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119417947B 。
龙图腾网通过国家知识产权局官网在2025-10-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411459419.3,技术领域涉及:G06T11/60;该发明授权一种文本知识增强的场景图生成方法是由胡敏;赵世洋;黄宏程设计研发完成,并于2024-10-18向国家知识产权局提交的专利申请。
本一种文本知识增强的场景图生成方法在说明书摘要公布了:本发明涉及一种文本知识增强的场景图生成方法,属于计算视觉领域。该方法包括:提取文本信息的文本特征;提取场景图像的视觉特征和实体标签,并将提取的视觉特征组合为成对的实体对特征;引入实体对特征引导生成视觉引导的文本特征表示,使提取的文本特征与视觉实体相关联;基于视觉特征和实体标签得到精细化的实体增强特征以及实体对视觉谓词特征;将视觉引导的文本特征与实体对视觉谓词特征进行跨模态对齐,得到图形化的多模态特征表示;将多模态特征表示和实体增强特征输入多层感知机中进行预测,得到实体对和实体对关系的预测输出。本发明可提升场景图生成过程中对实体对象预测和实体关系预测的准确性。
本发明授权一种文本知识增强的场景图生成方法在权利要求书中公布了:1.一种文本知识增强的场景图生成方法,该方法基于给定的场景图像以及与场景图像对应的文本信息生成场景图,其特征在于:生成场景图的过程包括: 提取所述文本信息的文本特征;提取所述场景图像的视觉特征和实体标签,并将提取的视觉特征组合为成对的实体对特征; 引入实体对特征引导生成视觉引导的文本特征表示,使提取的文本特征与视觉实体相关联:利用注意力机制将提取的视觉特征和文本特征映射到相同的维度,计算所述文本特征和视觉特征之间的相似度以生成注意力权重图,其中,与每个实体对相关性高的实体被赋予较高的权重,与每个实体对相关性低的实体被赋予较低的权重;将所述注意力权重图与所述文本特征相乘得到视觉实体特征,并通过求和将的信息整合,然后与文本特征进行线性融合拼接,得到视觉引导的文本特征; 基于所述视觉特征和实体标签得到精细化的实体增强特征以及实体对视觉谓词特征; 将视觉引导的文本特征与实体对视觉谓词特征进行跨模态对齐,得到图形化的多模态特征表示:首先通过成对的自注意力模块进行同模态交互,分别将实体对视觉谓词特征和视觉引导的文本特征输入自注意力模块中,得到处理后的视觉特征和文本特征,其中,表示第N层自注意力模块的输出,N为自注意力模块的总层数,表示第n层自注意力模块的输出; 然后通过成对的引导注意力模块进行跨模态交互,将和输入引导注意力模块中,得到第N层引导注意力模块的文本特征输出; 利用和计算注意力权重得到聚合文本特征,再将和进行串联得到图形化的多模态特征表示; 将多模态特征表示和实体增强特征输入多层感知机中进行预测,得到实体对和实体对关系的预测输出。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人重庆邮电大学,其通讯地址为:400065 重庆市南岸区黄桷垭崇文路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励