买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆邮电大学

摘要：本发明涉及一种基于融合注意力机制和DenseNet网络的跨模态哈希检索方法，属于跨模态检索领域。该方法包括：S1：对数据集中图像和文本进行预处理；S2：提取模态数据特征；S3：哈希码映射：将步骤S2提取的图像特征和文本特征分别经过两层全连接层得到相同维度的低维特征；S4：建立基于五元组结构的损失函数；S5：输入五元组数据训练检索模型；S6：使用训练好的检索模型执行跨模态哈希检索任务。本发明提高了提取模态数据特征的精细程度，提升了模型检索准确率。

主权项：1.一种基于融合注意力机制和DenseNet网络的跨模态哈希检索方法，其特征在于，该方法包括以下步骤：S1：对数据集中图像和文本进行预处理；S2：提取模态数据特征，具体包括：采用基于融合通道域注意力和DenseNet网络结构的图像特征学习网络来提取图像特征，采用基于BoW模型的文本特征学习网络来提取文本特征；S3：哈希码映射：将步骤S2提取的图像特征和文本特征分别经过两层全连接层得到相同维度的低维特征；S4：建立基于五元组结构的损失函数L；minL＝L1+L2+γL3+L4其中，γ是可调节的超参数、用于调节L3占损失函数L的比重，L1表示文本特征FT与图像特征FI模态数据之间的损失、使用基于边界的合页损失函数和sigmoid交叉熵损失函数来度量，L2表示文本特征FT的模态数据内部之间的损失、使用基于边界的合页损失函数和sigmoid交叉熵损失函数来度量，L3表示度量哈希码F与低维特征H之间的损失，L4表示对权重W和偏置B的正交正则化处理得到的损失；文本特征FT与图像特征FI模态数据之间的损失L1的计算公式为：L1＝l1+λl2+l3 其中，l1表示模态间距离的损失；λ是可调节的超参数，用来调控损失项l2和l3占L1损失项的比例；n表示五元组样本的数量，超参数β表示衡量和之间损失的边界值，表示查询文本低维特征与被检索的正例图像低维特征之间的距离，表示查询文本低维特征与被检索的负例图像低维特征之间的距离； 其中，表示和之间的距离，和分别表示第i个正例文本和第i个正例图像；文本特征FT的模态数据内部之间的损失L2的计算公式为：L2＝l4+λl5 其中，λ是可调节的超参数，用来调控损失项l5占L2损失项的比例，超参数β表示衡量和之间损失的边界值，n表示五元组样本的数量，表示查询文本低维特征与被检索的正例文本的低维特征之间的距离，表示查询文本低维特征与被检索的负例文本的低维特征之间的距离；度量哈希码F与低维特征H之间的损失L3的计算公式为： 其中，n表示五元组样本的数量，表示查询文本的低维特征与其对应哈希码以及同模态内部被检索文本的低维特征FT与其对应哈希码HT之间的距离，表示被检索图像的低维特征FI与其对应哈希码HI之间的距离；和分别表示第i个正例文本和负例文本；和分别表示第i个正例图像和负例图像；S5：输入五元组数据训练检索模型；所述检索模型包括图像特征学习网络、文本特征学习网络、哈希层和查询检索过程；所述五元组数据包括：查询锚点样本、同模态的负例样本、同模态的正例样本、不同模态的负例样本和不同模态的正例样本；S6：使用训练好的检索模型执行跨模态哈希检索任务。

全文数据：

权利要求：

百度查询： 重庆邮电大学 基于融合注意力机制和DenseNet网络的跨模态哈希检索方法