买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东大学申请的专利一种基于类社交先验的多模态语义表征方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118194109B 。

龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410235890.8，技术领域涉及：G06F18/241；该发明授权一种基于类社交先验的多模态语义表征方法及系统是由胡宇鹏;韩昱东;刘皓;王浩聪;陈智伟;杨茜云设计研发完成，并于2024-03-01向国家知识产权局提交的专利申请。

本一种基于类社交先验的多模态语义表征方法及系统在说明书摘要公布了：本发明涉及一种基于类社交先验的多模态语义表征方法及系统，包括：利用预训练视觉模型对给定图像进行理解并生成相应的图像网格特征；利用自然语义理解模型对给定问题或者查询语句进行有效表征，生成语句特征；将图像网格特征与语句特征一起输入到类社交transformer中，经过多层编码实现多模态特征的有效融合，最终得到高质量的多模态语义表征。本发明将精巧设计的类社交注意力机制引入到传统的transformer架构中实现视觉结构化建模和判别性语义学习，进一步增强了视觉上下文的学习。

本发明授权一种基于类社交先验的多模态语义表征方法及系统在权利要求书中公布了：1.一种基于类社交先验的多模态语义表征方法，其特征在于，包括：利用预训练视觉模型对给定图像进行理解并生成相应的图像网格特征；利用自然语义理解模型对给定问题或者查询语句进行有效表征，生成语句特征；将图像网格特征与语句特征一起输入到类社交transformer中，经过多层编码实现多模态特征的有效融合，最终得到高质量的多模态语义表征；类社交transformer由多层类社交block串行组成，具体包括类社交自注意力机制、传统交叉注意力、多层感知机网络、分类头或者回归头；类社交自注意力机制实现结构化交互和判别性视觉表征学习；传统交叉注意力将文本信息与凝练的视觉信息进行细粒度的融合；利用多层感知机网络，完成特征的升维去噪；将最终得到的多模态表征输入分类头或者回归头，用于视觉问答与视觉定位下游任务；类社交自注意力机制实现结构化交互和判别性视觉表征学习；包括：类社交自注意力机制包括动态结构化交互模块和判别性支柱验证模块，动态结构化交互模块利用结构洞理论实现视觉区域的结构化交互，判别性支柱验证模块为潜在的结构洞重新分配权重；首先，将图像经过预训练好的ResNext模型进行视觉编码，得到视觉区域表征矩阵Ub，其中视觉区域表征矩阵Ub的每一行代表一个视觉区域的表征；将视觉区域的表征分别输入到三个线性全连接层fq,fk和fv，得到对应的查询Q、键K和值V，计算两两的交互得分矩阵Air，如下所示： 其中，ui和ur分别为第i和r个视觉区域，qi即fqui，为对应得到的查询，kr即fkur，为对应得到的键，d代表特征的维度；然后，采用两个调制网络和同时使用特征ui和连接偏好Ai,:作为输入，通过仿射变换的形式，生成帮助形成结构洞的有效掩码结构，如下所示： 其中，F＝[Ai,:；ui]代表特征与连接偏好的级联，RAi,:代表Ai,:的均值，Mi,:代表学习的掩码；利用得到的掩码Mi,:生成硬掩码Hi,:，如下所示：Hi,:＝dReLUMi,:其中，d为离散化操作；再次，利用学习到的结构化掩码对自注意力机制进行校正，如下所示： 其中，Hij为离散化掩码，Aij为原始的交互矩阵，为更新后的交互矩阵；利用对原始视觉特征进行更新；利用节点的关键属性信息对潜在的结构洞进行定位，如下所示：wi＝Hi,:⊙s+Ai,:其中，Hi,:⊙s刻画了节点的重要性，Hi,:⊙Ai,:刻画了关系的转移关系，因此，wi刻画了每个节点成为支柱节点的条件：其是否与更加重要的节点产生更加密切的联系；同时，采用更加灵活的可学习形式，增加支柱节点判定的灵活性，如下所示： 其中，si为第i个节点的全局重要性，pi为考虑到节点度信息和传递性质的最终节点重要性；最后，利用支柱验证权重对原始视觉特征进行进一步校正，如下所示： 其中，将每个节点重要性组合起来形成重要性向量，和分别代表经过支柱验证之前的特征表示与之后的特征表示；p为向量，其中每一个元素为pi。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东大学，其通讯地址为：250100 山东省济南市历城区山大南路27号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。