买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学

摘要：本发明公开了一种基于细粒度特征融合的部分多模态哈希方法，包括如下步骤：准备多模态检索数据集，数据集包括图像模态数据、文本模态数据、样本类别等信息，分别用VGGNet网络和词袋bag‑of‑words,BoW向量对原始数据进行特征提取，并将数据集划分为样本具有完整模态的部分和样本缺失部分模态的部分；构建缺失模态补齐模块，从样本具有完整模态的部分中随机采样出锚点集，利用锚点的模态特征补齐样本缺失的模态特征；随后将补齐的模态特征作为“真实值”来监督训练依靠样本已有模态特征直接跨模态生成另一缺失模态特征；构建深层语义信息模块，将样本完整的模态特征分别分解成每个哈希位对应的K个浅层语义信息，引入Transformer编码器，以自注意力方式自适应地捕捉浅层语义信息间的内在关系,得到编码后的深层语义信息；利用得到的深层语义信息进行细粒度的特征融合，并最终得到K位二进制的哈希码。本发明充分利用所有样本,减少了补齐缺失模态特征时引入的噪声,能够有效应对样本缺失部分模态的多模态数据检索场景。

主权项：1.一种基于细粒度特征融合的部分多模态哈希方法，包括如下步骤：步骤1，准备多模态检索数据集，多模态检索数据集包含图像和文本两种完全不同模态的数据，并包含每个多模态样本所属的类别信息；利用VGGNet网络和词袋向量对原始数据进行特征提取，得到高维特征向量。步骤2，构建缺失模态补齐模块中的同模态补齐模块其输入为样本已有的模态特征和预先采样的锚点的完整模态特征。通过度量该样本与锚点的语义相似性，利用与之语义相似的锚点的模态特征补齐缺失的模态特征，并作为后续监督跨模态生成模块的“真实值”。步骤3，构建缺失模态补齐模块中的跨模态生成模块其输入为样本已有的模态特征。将步骤2中同模态补齐模块生成的结果作为训练该模块的“真实值”，利用多个全连接层,通过简单的非线性变换直接将样本已有的模态特征映射为缺失的模态特征，以此实现对同一样本不同模态之间存在的相似语义关系进行准确建模。步骤4，构建深层语义信息模块，其输入为补齐后的样本完整模态特征。将样本的每个模态特征分解为K个向量，代表K个浅层语义信息。接着，为每个模态引入模态特定的Transformer编码器，通过自注意力的方式对浅层语义信息间的关系进行建模，自适应地捕捉深层语义信息。步骤5：构建融合与映射模块，其输入为经过Transformer编码器得到的K个深层语义信息。将每个模态K个深层语义信息相加，利用K个不同的映射函数将其逐位映射到对应哈希位上，得到K位松弛的哈希码，最后利用符号函数sign将松弛的哈希码转化为最终的二进制表示。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种基于细粒度特征融合的部分多模态哈希方法