买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉商学院

摘要：一种基于张量积图融合扩散过程的零样本跨模态检索方法、系统，包括S1：分别构建单模态数据特征取模型和跨模态数据特征提取模型，得到数据特征V；S2：根据不同特征空间中的数据特征V之间的关系，构建加权无向图并计算初始相似度矩阵A；S3：根据随机游走和张量积图上的扩散过程这两种不同角度的相似度计算方法，构建基于张量积图的相似度融合架构，计算得到最终相似度矩阵S；S4：根据跨模态检索任务的需求，选取合适的零样本跨模态相似度矩阵进行跨模态检索，得到相似度检索由大到小的排序结果。本设计不仅检索准确度高，而且没有使用类嵌入，节约了人工成本。

主权项：1.一种基于张量积图融合扩散的零样本跨模态检索方法，其特征在于：包括如下步骤：S1：分别构建基于交叉熵损失和三元组损失的单模态数据特征取模型和基于交叉熵损失、三元组损失和全样本判别损失函数的跨模态数据特征提取模型，并利用构建完成的模型构造无标签数据的低维异构潜在特征空间，得到数据特征V；S2：根据不同特征空间中的数据特征V之间的关系，构建加权无向图并计算初始相似度矩阵A；S3：根据随机游走和张量积图上的扩散过程这两种不同角度的相似度计算方法，构建基于张量积图的相似度融合架构，计算得到最终相似度矩阵S；构建最终相似度矩阵 其中表示图像之间的最终相似度矩阵，表示文本之间的最终相似度矩阵，表示图像和文本之间的最终相似度矩阵；S3.1：针对文本之间和图像之间的初始相似度矩阵Aii和Att进行扩散过程，使用图截断、随机游走的闭式解、张量积图上随机游走的迭代求解方法，得到最终相似度矩阵Sii和Stt；S3.2：针对文本和图像之间的初始相似度矩阵Ait和Ati，计算其随机游走结果Rit和Rti做为相似度融合的约束项；S3.3：基于张量积图上的扩散过程相似度融合方法，使用Rit和Rti作为约束项，对Sii、Stt、Aii和Att进行融合，得到最终相似度矩阵Sit和Sti；S4：根据跨模态检索任务的需求，选取合适的零样本跨模态相似度矩阵进行跨模态检索，在确定检索样本的索引后在矩阵中找到相应位置，对其相似度从大到小排序，得到相似度检索由大到小的排序结果，此时检索完成。

全文数据：

权利要求：

百度查询： 武汉商学院 基于张量积图融合扩散的零样本跨模态检索方法、系统