买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：一种基于异构信息交互的多物场景下的图文匹配方法，属于多媒体信息处理中的图文匹配领域。本发明首先将数据集划分为训练集、测试集。然后，构造针对多物数据图文匹配问题的联合哈希码矩阵学习公式。然后，利用交替更新算法1对联合哈希码矩阵学习公式进行求解，得到联合哈希码矩阵B。然后，构造针对多物数据图文匹配问题的哈希函数学习公式。然后，利用交替更新算法2对哈希函数学习公式进行求解，得到哈希函数F1、F2。最后，利用上述步骤得到的联合哈希码矩阵B和哈希函数F1、F2对测试集进行测试并计算多物场景下图文匹配的平均准确率。与其他方法相比，本发明的平均准确率更高。

主权项：1.一种基于异构信息交互的多物场景下的图文匹配方法，所述方法包括步骤：将数据集划分为训练集、测试集；构造针对多物数据图文匹配问题的联合哈希码矩阵学习公式；所述联合哈希码矩阵学习公式为： 其中，为多物图像数据矩阵，为多物文本数据矩阵，其中d1、d2为多物图像、文本数据的维度，n为样本数量，为进行核化处理的多物图像、文本数据矩阵，其中q为核化后数据的维度，对于多物图像、文本数据矩阵中某一位置的列向量x，其在进行核化处理的多物图像、文本矩阵中对应位置的列向量为其中为向量的2-范数的平方，为从对应的数据矩阵中不重复随机提取的q个列向量，q也即核化后的数据维度，为核宽度，xi为对应数据矩阵的第i列向量，gj为中的第j个列向量，||·||2为向量的2-范数，U1、U2∈Rq×r分别为多物图像、文本数据的潜在因子矩阵，其中r为哈希码长度，L∈Rc×n为种类标记矩阵，当第j个数据包含第i个物体时，Lij＝1，否则Lij＝0，其中c为物体种类的数量，为单位化后的种类标记矩阵，即li为种类标记矩阵的第i个列向量，Γ∈Rc×n为索引矩阵，当Lij＝1时，Γij＝1，否则Γij＝-1，⊙为哈达玛积符号，E1、E2∈Rc×n分别为多物图像、文本数据的间隔元素矩阵，用于加强异类数据远离的约束，P1、P2∈Rc×r分别为多物图像、文本数据的信息投影矩阵，V1、V2∈Rr×n为多物图像、文本的独立潜在表示空间，V1TV2用于异构信息交互，用于指导异构信息交互，Q1、Q2∈Rr×r分别为多物图像、文本数据具有正交约束的投影矩阵，B∈{-1,1}r×n为元素是-1或1的联合哈希码矩阵，为矩阵的F-范数的平方，Ir为维度为r的单位矩阵，λ1、λ2、α、β1、β2、μ为权衡参数；利用交替更新算法1对联合哈希码矩阵学习公式进行求解，得到联合哈希码矩阵B；所述交替更新算法1总结如下： 构造针对多物数据图文匹配问题的哈希函数学习公式；所述哈希函数学习公式为： 其中，为单位化后的种类标记矩阵，F1、F2∈Rr×q分别为多物图像、文本数据的哈希函数，其中r为哈希码长度，q为联合哈希码矩阵学习公式中提到的核化后数据的维度，μ1、μ2为权衡参数；利用交替更新算法2对哈希函数学习公式进行求解，得到哈希函数F1、F2；所述交替更新算法2总结如下： 利用上述步骤得到的联合哈希码矩阵B和哈希函数F1、F2对测试集进行测试并计算多物场景下图文匹配的平均准确率。

全文数据：

权利要求：

百度查询： 哈尔滨理工大学 一种基于异构信息交互的多物场景下的图文匹配方法