买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：芜湖辛巴网络科技有限公司

摘要：本发明公开一种基于关系感知矫正注意力网络的视听匹配方法，利用关系感知模态间矫正注意力与自适应模态内矫正注意力共同探索不同模态语义特征之间的内在关联。关系感知模态间的矫正注意力机制通过关系感知网络获得的相关性信息，引导不同模态的特征进行目标明确的交互，以识别潜在的语义联系。鉴于不同模态间可能存在显著的信息差异，自适应模态内矫正注意力作为一个辅助机制，能够独立并有效地处理这些特征，进而深入挖掘各模态的特征表示。此外，这两种注意力模块均集成了自适应注意力矫正单元，以优化注意力分配，增强特征表示的同时减少干扰信息对网络的影响。通过强化正负样本之间的对比，相对距离拉伸度量损失有助于改善视听特征的嵌入表征。本发明在多个公共基准数据集上进行测试，覆盖多种场景，并展现出良好的性能表现。

主权项：1.一种基于关系感知矫正注意力网络的视听匹配方法，其特征在于，包括以下步骤：步骤1、先获取一段锚音频片段和对应的k张人脸图像将锚音频作为识别项、将人脸图像作为图库匹配项；然后分别对锚音频片段和人脸图像进行特征提取，得到原始的音频片段特征和人脸图像特征i表示第i个数据元组；步骤2、将音频片段的特征和人脸图像的特征送入关系感知矫正注意力网络，通过关系感知网络分别计算音频片段与单个人脸图像之间的相似度，得到各自的注意力矩阵和所述关系感知矫正注意力网络包括并行的自适应模态内矫正注意力模块RIRA和关系感知模态间矫正注意力模块AIRA；关系感知模态间矫正注意力模块AIRA使用自适应注意力矫正单元AARU分别对和进行调整道得到注意力矩阵和接着对两个注意力矩阵依次进行一阶模态间交互和二阶模态间交互，最终得到特征和自适应模态内矫正注意力模块RIRA使用自适应注意力矫正单元AARU分别对和进行矫正，分别得到模态内矫正后注意力矩阵和然后分别对和使用解码器提取相关模态特征和步骤3、先引入特征正交性约束Lorth，使与模态无关的特征和与模态相关的特征互为补充；使用动态残差权重组合方法，结合动态挑选的模态内部和模态间增强特征与全局特征，进行跨模态特征之间的最优匹配，最优匹配的两个模态的特征分别记为和步骤4、通过对抗网络判别器利用音频特征和人脸图像特征来生成与模态无关的特征

全文数据：

权利要求：

百度查询： 芜湖辛巴网络科技有限公司 一种基于关系感知矫正注意力网络的视听匹配方法