南京理工大学李旻先获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京理工大学申请的专利一种基于深度文本-视觉模态对齐与融合的再识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119693683B 。
龙图腾网通过国家知识产权局官网在2025-12-26发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411677994.0,技术领域涉及:G06V10/764;该发明授权一种基于深度文本-视觉模态对齐与融合的再识别方法是由李旻先;张琬沁设计研发完成,并于2024-11-22向国家知识产权局提交的专利申请。
本一种基于深度文本-视觉模态对齐与融合的再识别方法在说明书摘要公布了:本发明公开了一种基于深度文本‑视觉模态对齐与融合的再识别方法,属于计算机视觉和模式识别领域,该方法设计了一种文本‑视觉模态对齐与融合的深度神经网络,包含文本描述生成模块,视觉特征编码模块,文本特征编码模块和文本‑视觉特征融合模块;该方法首先利用视觉问答生成图像对应实例级文本描述,再通过深度耦合的视觉编码器和文本编码器两个特征提取分支分别生成强对齐的视觉特征和文本特征,最后采用文本‑视觉模态对齐融合技术,联合域无关归一化,增强图像目标前景特征表示,再联合实例归一化提取最终特征,然后利用损失函数模型训练,实现再识别任务。本发明提出的方法能够有效增强目标再识别模型的跨域泛化性能。
本发明授权一种基于深度文本-视觉模态对齐与融合的再识别方法在权利要求书中公布了:1.一种基于深度文本-视觉模态对齐与融合的再识别方法,其特征在于,包括如下步骤: 步骤1:收集不同相机视角不少于10000张的源域RGB图像数据集其中表示源域数据集DS中的图像数据,N表示源域数据集DS的大小,H表示图像的高度,W表示图像的宽度,同时需要收集目标域数据集每张图像是已经检索出仅有一个目标的对应ID图像,每个ID图像来自不同的相机,数据集命名方法为pid_camid_index.jpg,其中pid为目标标签,camid为相机标签,index为图像索引;源域数据集Ds和目标域数据DT集都要分为训练数据集和测试数据集,其中测试数据集分为Gallery集和Query集;Gallery集的ID需要包含Query集中的ID,保证在使用Query集数据测试询问阶段,与Gallery中同ID不同图像的数据相匹配;在训练时只能访问源域数据集,测试时使用目标域数据集; 步骤2:将数据集传入实例级描述生成器,通过不同的提示和询问方法获得图像对应描述,得到文本模态输入; 步骤3:对步骤1中视觉图像进行数据预处理,训练图像采用多种图像增强的方法,测试图像仅采用通用的裁剪和归一化; 步骤4:将步骤3中预处理后的图像和步骤2生成的描述进行可学习提示词编码后,输入文本-视觉模态模型,并且在网络层之间进行深度耦合,得到强对齐的图像特征与文本特征; 步骤5:将步骤4中得到的图像特征与文本特征输入文本-视觉模态融合网络,得到文本增强后的图像特征; 步骤6:在步骤5文本-视觉模态融合后的特征经过域无关归一化模块,得到最终的特征表示; 经过文本增强图像特征表示得到融合特征f后,采用域不可知归一化调整统计参数,用户可动态调整扰动系数α,β,计算统计参数γda和βda da=ασf da=βσf 其中α~uniform1-ω,1+ω,ω∈0,0.5为超参数;计算源域特征均值μf和标准差σf,通过归一化DaFN·调整源域分布,得到最终特征表示fglobal 步骤7:步骤6中获得的最终特征表示,计算特征之间的距离以度量其相似度进行再识别排序。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京理工大学,其通讯地址为:210094 江苏省南京市孝陵卫200号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励