买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨工业大学

摘要：本发明公开了一种基于关系增强策略梯度和并行权重控制的跨模态检索方法，所述方法如下：一、针对每个图像输出一组显著区域的特征来表示该图像；二、使用词编码将每个token编码为词向量，将单词序列转化为文本表示；三、使用策略梯度和并行权重控制指导所有图像区域特征在最终图像全局特征中的权重大小，得到图像全局特征；四、使用策略梯度和并行权重控制指导所有文本单词特征在最终文本全局特征中的权重大小，得到文本全局特征；五、利用图像全局特征和文本全局特征执行相似性匹配，采用带有难负样本挖掘的铰链损失进行监督，利用离散连续策略梯度的优化目标对图像区域特征和文本单词特征的权重进行监督。本发明可以很好地进行跨模态检索。

主权项：1.一种基于关系增强策略梯度和并行权重控制的跨模态检索方法，其特征在于所述方法包括如下步骤：步骤一、对于图像-文本对中的图像部分，使用BUA作为图像分支的基础图像网络，选择图像-文本对中的图像作为图像分支的输入，针对每个图像I输出一组显著区域的特征V＝{v1，…，vi，…，vn}来表示该图像，其中：vi表示编码的第i个显著区域的特征向量，i＝1，…，n，n表示图像中显著区域的个数，d表示特征向量的维度；步骤二、对于图像-文本对中的文本部分，使用词编码，将每个token编码为词向量，然后使用双向GRU作为文本分支的基础文本网络，将单词序列转化为文本表示U＝{u1，…，ui，…，um}，其中：ui表示编码的第i个文本单词的特征向量，i＝1，…，m，m表示句子中单词的个数；步骤三、利用自注意力机制建模任意图像区域特征与所有图像区域特征之间的关系，并使用策略梯度和并行权重控制来指导所有图像区域特征在最终图像全局特征中的权重大小，得到图像全局特征vgl；步骤四、利用自注意力机制建模任意文本单词特征与所有文本单词特征之间的关系，并使用策略梯度和并行权重控制来指导所有文本单词特征在最终文本全局特征中的权重大小，得到文本全局特征ugl；步骤五、利用图像全局特征和文本全局特征执行相似性匹配，并采用带有难负样本挖掘的铰链损失进行监督，利用离散连续策略梯度的优化目标，对图像区域特征和文本单词特征的权重进行监督。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 基于关系增强策略梯度和并行权重控制的跨模态检索方法