买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国石油大学(华东)申请的专利基于选择图结构注意力的原始特征注入网络的视觉问答方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115248884B 。

龙图腾网通过国家知识产权局官网在2025-11-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111041731.7，技术领域涉及：G06V10/82；该发明授权基于选择图结构注意力的原始特征注入网络的视觉问答方法是由路静;吴春雷;王雷全;吴杰;刘昕;李卓设计研发完成，并于2021-09-07向国家知识产权局提交的专利申请。

本基于选择图结构注意力的原始特征注入网络的视觉问答方法在说明书摘要公布了：本发明公开了基于选择图结构注意力的视觉问答方法，旨在解决现有方法“忽略视觉特征中目标与目标之间的关系”及“图像边缘信息被遗忘”的问题。本发明构建选择图结构注意力模块，通过生成场景图含“与边界框关联的对象”和“对象属性”两类节点建模目标间关系，再依据问题特征选择性选取场景图的边和结点，结合共同注意力生成双边信息特征；同时构建原始特征注入模块，恢复图像未被关注的边缘信息，两模块形成“关系建模‑特征增强”的递进式协作。本发明在VQA2.0数据集上的实验证明，模型在复杂场景尤其关系类问题问答任务中准确率显著提升，有效验证了方法的有效性。

本发明授权基于选择图结构注意力的原始特征注入网络的视觉问答方法在权利要求书中公布了：1.基于选择图结构注意力的原始特征注入网络的视觉问答方法，其特征在于，所述方 法包括以下步骤： S1.构建选择图结构注意力模块，对视觉特征构造图结构，再依据问题特征对图结构选取边和结点，依据问题找出视觉特征目标和目标之间的关系，再与共同注意力结合，生成含有双边信息的特征； S2.构建原始信息注入模块，恢复图像有价值但不被关注的边缘信息； S3.结合S1中的模块和S2中的模块构建基于选择图结构注意力的原始特征注入网络架构； S4.基于选择图结构注意力的原始特征注入网络的训练和视觉问答； 所述S1的具体过程为： 选择图结构注意力模块，根据图像特征生成图结构，再依据问题找出视觉特征目标和目标之间的关系，再与共同注意力结合生成双边特征，使答案更清晰；具体过程如下： 所述图结构为有向多重图，其中每个节点对应一个场景实体；所述场景实体是指图像中可识别的视觉元素，具体包括：与边界框关联的对象或对象的属性；每个场景实体具有与预测的对象或属性标签相对应的类型，键入的边指定场景实体如何相互关联；设置E表示场景实体的集合,R表示二元关系的集合，则图结构是有序三元组s,p,o的集合；针对逆关系强加完整性，对于每个s,p,o∈SG都隐含着s,p-1,o∈SG； 映射空间S的状态由E×Q给出，其中E是图结构SG的节点，Q表示所有问题的集合；映射空间S在第t个节点代表了当前所在的实体et和问题Q，记为St，即t∈N时，St＝et,Q∈S；来自映射空间St的可用动作集由ASt表示，包含节点et的所有出站边沿以及对应的对象节点，表达式为： ASt＝{r,e∈R×E:St＝et,Q∧et,r,e∈SG}1 设At∈ASt表示映射空间在第t个节点所执行的动作；在创建图结构时，节点嵌入通过多层图注意力网络GAT传递；GAT通过自注意力机制从图卷积网络扩展而来，模仿常规网格上的卷积算子，通过嵌入邻居节点特征来形成实体嵌入； 对输入的图像和问题分别提取特征，由图像特征生成图结构，用次数元组Ht＝Ht-1,At-1表示映射空间的历史记录，其中t≥1,H0＝hub,t＝0；特征h是通过多层LSTM编码表达式为： ht＝LSTMat-12 其中at-1＝[rt-1,et]∈R2d；et表示将边和目标节点嵌入Rd中； 将h与问题特征Q一同输入ReLU激活函数，经取动作集操作At后，通过softmax函数生成视觉特征I，表达式为： I＝softmaxAtW2ReLUW1[htQ]3 其中的行包含所有可允许动作的潜在表示，Q∈Rd对问题Q进行编码；根据特征I绘制动作At＝r,e∈ASt；公式2和3得出一个随机策略πθ，θ表示可训练参数的集合； 将生成的视觉特征I与问题特征T送入共同注意力，生成含有双边信息的注意力；对于给定的图像特征I和问题特征T，通过叉乘运算得到注意力矩阵A，将A通过双层softmax生成关于问题的注意力矩阵AT和关于图像的注意力矩阵AI再分别与图像特征和问题特征相乘，得到含有双边信息的图像特征Ic和问题特征Tc，过程表达式为： A＝T×WR×IT4 AI＝softmaxA5 AT＝softmaxAT6 Tc＝T×AT7 Ic＝I×AI8 其中公式4的表示权重矩阵，注意力矩阵的维度均为d×d。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国石油大学(华东)，其通讯地址为：266580 山东省青岛市黄岛区长江西路66号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。