买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安邮电大学

摘要：本发明属于通信技术领域，公开了一种基于异构哈希网络的跨模态语音与人脸关联方法，具体技术方案为：提出了一种基于哈希学习的跨模态深度残差对齐网络，网络将输入特征映射为固定长度的哈希码，有效降低了特征维度以及内存的使用，同时哈希化使得计算效率大大提升，集成残差结构的深层网络使得特征表示能力更强，具有很好的泛化性，通过最小化损失函数能够使得相同身份的语音和人脸特征在哈希空间中汉明距离更近，不同身份的语音和人脸特征距离更远，以此达到语音和人脸的特征对齐，完成跨模态的匹配、验证和检索任务，本发明的模型在跨模态匹配、检索、验证任务中的准确率与现有方法相比有明显的提升。

主权项：1.一种基于异构哈希网络的跨模态语音与人脸关联方法，其特征在于，具体步骤如下：步骤一、构建数据集：使用经过预处理的数据集对网络进行训练以及测试；步骤二、加载数据集：添加一个采样器，在训练过程中接收样本，每次迭代包含多个不同身份的样本，每个身份含有固定数量的实例，网络训练过程中，在每次迭代时，数据以一个元组的形式呈现，具体表达如下： 其中，v表示语音片段，f表示人脸图像，l为标签，若li＝lj，表示vi,fi与vj，fj属于同一个人；若li≠lj，则认定vi，fi与vj，fj属于不同身份的人，batch表示网络每次迭代的元组数量；步骤三、建立语音特征提取网络Av·：使用在VoxCeleb2数据集上预训练的ECAPA-TDNN模型作为语音特征提取网络，针对语音片段，首先提取语音的梅尔频谱特征并归一化后作为ECAPA-TDNN模型的输入来提取特征，输出最终的语音特征；步骤四、构建人脸特征提取网络Af·：使用在VGGFace2数据集上预训练的Inception-V1网络作为人脸特征提取网络，人脸图片通过Inception-V1网络输出一个512维的向量作为最终的人脸特征；步骤五、构建跨模态特征对齐网络：具体的跨模态特征对齐网络表达式如下：φ·，θ＝{φv·，θv，φf·，θf}在特征提取阶段得到的语音特征、人脸特征作为该网络的输入，跨模态特征对齐网络自动将语音特征、人脸特征输入进对应的特征对齐子网络，使用多个全连接层FC·来实现特征对齐，除最后一层的全连接层外，每一个全连接层之后紧跟一个批归一化层BN·，批归一化表示如下： 其中，xi表示经过全连接层后的特征，μB表示一个批次内所有样本特征在每个特征通道上的均值，σB表示一个批次内所有样本特征在每个特征通道上的方差，ε是一个小的常数，γ和β是可学习的参数；在跨模态特征对齐网络最后一层添加一个哈希函数层sgn·，跨模态特征对齐网络的最终输出为：V＝sgnφvAvvi，θvF＝sgnφfAffi，θf其中，sgn·是一个符号函数，φv表示构建的跨模态特征对齐网络中的语音特征对齐子网络，φf表示构建的跨模态特征对齐网络中的人脸特征对齐子网络，Avvi为通过特征提取网络得到的语音特征，Affi为通过特征提取网络得到的人脸特征，θv、θf分别表示跨模态特征对齐网络中两个子网络学习到的参数，F，V为最终得到的两个模态的哈希码。

全文数据：

权利要求：

百度查询： 西安邮电大学 一种基于异构哈希网络的跨模态语音与人脸关联方法