山东省计算中心(国家超级计算济南中心);齐鲁工业大学(山东省科学院)郑超群获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉山东省计算中心(国家超级计算济南中心);齐鲁工业大学(山东省科学院)申请的专利基于多视角中心结构的多模态哈希检索方法、系统、设备及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119474418B 。
龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411506302.6,技术领域涉及:G06F16/48;该发明授权基于多视角中心结构的多模态哈希检索方法、系统、设备及介质是由郑超群;左瑞帆;胡国城;董祥军;管红娇;任晓强;赵龙设计研发完成,并于2024-10-28向国家知识产权局提交的专利申请。
本基于多视角中心结构的多模态哈希检索方法、系统、设备及介质在说明书摘要公布了:本发明公开了基于多视角中心结构的多模态哈希检索方法、系统、设备及介质,属于人工智能及多模态哈希检索技术领域,本发明要解决的技术问题为多模态哈希检索过程中类内紧凑性和类间可分性之间取得平衡,采用的技术方案为:构建多模态数据集;构建基于多视角中心结构的多模态哈希检索模型;训练模型;其中,构建基于多视角中心结构的多模态哈希检索模型具体如下:模态特定原型学习:利用图像模态深度多层感知器和文本模态深度多层感知器分别从对应模态中提取细化特征,并计算图像模态和文本模态细化特征的平均值获取模态特定原型,进而获取图像模态的独特特征和文本模态的独特特征;多模态集成类原型学习;多视角语义增强哈希学习。
本发明授权基于多视角中心结构的多模态哈希检索方法、系统、设备及介质在权利要求书中公布了:1.一种基于多视角中心结构的多模态哈希检索方法,其特征在于,该方法具体如下: 构建多模态数据集:获取图像模态和文本模态数据集,并对图像模态和文本模态数据集进行处理,再通过预训练模型BLIP-2对图像模态和文本模态数据集进行深度特征提取获取深度图像特征和深度文本特征;同时按照比例构建训练集、测试集和检索集,再组合生成最终的数据集; 构建基于多视角中心结构的多模态哈希检索模型:通过神经网络和深度学习技术构建基于多视角中心结构的多模态哈希检索模型; 训练模型:利用最终的数据集通过复合损失函数对基于多视角中心结构的多模态哈希检索模型进行训练; 其中,构建基于多视角中心结构的多模态哈希检索模型具体如下: 模态特定原型学习:利用图像模态深度多层感知器和文本模态深度多层感知器分别从对应模态中提取细化特征,并计算图像模态和文本模态细化特征的平均值获取模态特定原型,进而获取图像模态的独特特征和文本模态的独特特征,再通过原型对比损失函数实现原型对齐和原型分离; 多模态集成类原型学习:将异构模态特征集转换到一个统一的松弛哈希编码空间,利用连接操作将图像模态和文本模态的细化特征合并,应用一个线性变换层在特征空间中投影并调整特征的尺度,对调整后的细化联合表示通过Tanh激活函数将细化联合表示映射为包含丰富的多模态语义信息的连续哈希码,再通过集成原型交叉熵损失函数实现哈希码与哈希码匹配原型之间距离最小化的同时最大化与其他原型的距离; 多视角语义增强哈希学习:定义一个相似性矩阵,并利用成对语义相似性信息通过相似性保持损失函数优化哈希码的生成,引入一个结构相似性矩阵,并利用结构相似性信息通过结构化邻域保持损失函数优化哈希码的生成,捕获多模态数据中的结构信息; 其中,多视角语义增强哈希学习具体如下: 定义一个相似性矩阵:通过成对语义相似性信息在生成哈希码时用作指导,引入相似性保持损失函数Ls,将相似性矩阵整合到哈希码的学习中,确保生成的哈希码能够反映样本间的语义相似性,相似性矩阵函数公式如下: 其中,Sij表示相似性矩阵,用于量化样本i和样本j之间的语义相似度,li和lj是样本i和样本j的特征向量;e表示自然对数的底数,T表示转置; 定义一个结构相似性矩阵:引入结构化邻域保持损失函数Lq捕获多模态数据中的结构信息,并将结构相似性矩阵引入哈希码的学习中,通过最小化结构化邻域保持损失函数,使得相似样本的哈希码彼此接近,同时避免不相似样本之间的过度相似性,结构相似性矩阵函数公式如下: 其中,Tij表示结构相似性矩阵,用于量化样本i和样本j之间的连续哈希码的相似度;hi和hj表示样本i和样本j的连续哈希码;‖hi‖2‖hj‖2表示哈希码hi和hj的欧几里得范数; 结构相似性矩阵计算为连续哈希码的标准化点积,调整其数值介于0和1之间以确保值在一个有意义的范围内。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东省计算中心(国家超级计算济南中心);齐鲁工业大学(山东省科学院),其通讯地址为:250000 山东省济南市经十路东首科学院路19号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励