买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国石油大学(华东)申请的专利基于选择图结构的嵌套注意力网络的视觉问答方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115248872B 。

龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111068174.8，技术领域涉及：G06N5/04；该发明授权基于选择图结构的嵌套注意力网络的视觉问答方法是由路静;吴春雷;王雷全;吴杰;曹绍华;袁子煜设计研发完成，并于2021-09-13向国家知识产权局提交的专利申请。

本基于选择图结构的嵌套注意力网络的视觉问答方法在说明书摘要公布了：本发明公开了基于选择图结构的嵌套注意力网络的视觉问答方法。以往的方法主要采用对视觉特征的处理一般用卷积神经网络，或者注意力机制，这会忽略视觉特征中目标和目标之间的关系。此外，在共同注意力中无论视觉特征与问题特征是否相关，注意力都会为视觉特征和问题特征输出加权平均值。本发明首次提出了基于选择图结构的嵌套注意力网络来研究图像和问题之间的对应关系。设计一个具有嵌套注意力强化网络，通过考虑区域间的关系，消除向量不相关信息，有效地融合视觉特征和问题特征。提出选择图结构模块，依据问题找出视觉特征目标和目标之间的关系，使答案更清晰。本发明在VQA2.0上进行大量实验证明了提出模型的有效性。

本发明授权基于选择图结构的嵌套注意力网络的视觉问答方法在权利要求书中公布了：1.基于选择图结构的嵌套注意力网络的视觉问答方法，其特征在于，所述方法包括以下步骤：S1.构建嵌套注意力网络模块，根据输入图像区域之间和词语之间的相关性来挖掘完整的特征；S2.构建选择图结构模块，对图像特征构造图结构，再依据问题特征对图结构选取边和结点；S3.结合S2中的网络和S3中的网络构建基于选择图结构的嵌套注意力网络架构；所述S1的具体过程为：给定图像特征I和问题特征T将他们输入到嵌套注意力模型中，经过模型的训练最终生成相应的模态特征；模型的中间部分是经典的共同注意力架构，首先对于给定的图像特征Ik和问题特征Tk，通过叉乘运算得到注意力矩阵A，再将A通过双层softmax生成关于问题的注意力矩阵AT和关于图像的注意力矩阵AI最后再分别与图像特征和问题特征相乘得到含有双边信息的图像特征I′k和问题特征T′k；这个过程可用下面的五个公式表示：A＝Tk×WR×IkT1AI＝softmaxA2AT＝softmaxAT3T′k＝Tk×AT4I′k＝Ik×AI5其中公式1的WR∈RN×K表示权重矩阵，注意力矩阵的维度均为d×d；模型的整体结构是增强了双边信息中特征区域间的关联性；对于问题特征，将上一步生成的问题特征T′k与图像特征Ik做concat连接操作，然后分别经过两个线性操作，其中一个再输入到一个Sigmoid激活函数，再将两个特征相乘得到最终的问题特征Tk；这个过程用下面四个公式表示：Tck＝ConcatT′k,Ik6Tlk＝LinearTck7Tlsk＝SigmoidLinearTck8TK＝Tlk×Tlsk9其中linear是一个Linear函数，它具有1024个具有ReLU非线性和dropout的隐藏单元；同理，对于图像特征，将上一步生成的图像特征I′k与问题特征Tk做concat连接操作，然后分别经过两个线性操作，其中一个再输入到一个Sigmoid激活函数，再将两个特征相乘得到最终的图像特征Ik；这个过程用下面四个公式表示：Ick＝ConcatI′k,Tk10Ilk＝LinearIck11Ilsk＝SigmoidLinearIck12IK＝Ilk×Ilsk13其中linear是一个Linear函数，它具有1024个具有ReLU非线性和dropout的隐藏单元；图像特征Ik和问题特征Tk是嵌套注意力模型的输出，其维度与输入特征的维度一致；再将其作为嵌套注意力模型的输入重复以上操作，k＝n时为最终输出，即图像特征In与问题特征Tn。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国石油大学(华东)，其通讯地址为：266580 山东省青岛市黄岛区长江西路66号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。