龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：新疆大学
摘要：本发明公开了一种基于Mamba和协方差交互注意力的跨模态哈希学习方法，主要涉及深度跨模态哈希检索领域；包括步骤：S1、将图像数据集及其所对应的类别标签信息分别对应分成：训练集、测试集和检索集；S2、对图像信息进行预处理；S3、构建基于斜方差特征融合与Mamba的深度跨模态哈希检索架构；S4、利用训练集，通过训练得到基于斜方差特征融合与Mamba的深度跨模态哈希检索模型；S5、将测试集和检索集图片输入经过训练的模型，分别得到测试集和检索集的哈希码；S6、取测试集测试最好的模型权重进行保存；本发明能有效学习不同模态之间的信息，能够有效提升模型在跨模态学习任务中的性能和泛化能力。
主权项：1.一种基于Mamba和协方差交互注意力的跨模态哈希学习方法，其特征在于，包括步骤：S1、将图像数据集及其所对应的类别标签信息分别对应分成三部分：训练集、测试集和检索集，其中，每个样本均包括一张图像及对应的文字描述，且训练集和测试集中每个类别取相同的样本数；S2、对图像信息进行预处理，将图像裁剪成同一像素大小，以作为模型输入；S3、构建基于斜方差特征融合与Mamba的深度跨模态哈希检索架构，包括CLIP特征提取骨干、Mamba斜方差交叉特征融合模块、哈希层和损失函数，其中，CLIP特征提取骨干采用ViT-B-32预训练权重，哈希层包括全连接层、层归一化层和激活函数tanh·，损失函数包括代理损失和哈希中心平衡损失，CLIP特征提取骨干和Mamba斜方差交叉特征融合模块用于学习图像特征，哈希层用于学习哈希函数的构建并得到输入图像的哈希码，损失函数用来引导哈希函数的优化方向；S4、利用训练集，依据基于斜方差特征融合与Mamba的深度跨模态哈希检索架构，通过训练得到基于斜方差特征融合与Mamba的深度跨模态哈希检索模型；S5、将测试集和检索集图片输入经过训练的基于频域解耦和视觉Mamba的深度哈希图像检索模型，分别得到测试集和检索集的哈希码，通过反向传播算法调整模型参数，利用验证集验证训练效果并保存最好的模型；S6、取测试集测试最好的模型权重进行保存，并保存在测试集上表现效果最好的哈希码。
全文数据：
权利要求：
百度查询： 新疆大学 一种基于Mamba和协方差交互注意力的跨模态哈希学习方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号