首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于特征融合和Transformer的多模态图像配准方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:西安爱生技术集团有限公司;西安电子科技大学

摘要:本发明提供了一种基于特征融合和Transformer的多模态图像配准方法。首先,获取多模态图像对数据集;然后,构建特征检测与匹配网络模型网络模型,以获取的数据集中的图像对为输入量,以其匹配点对为输出量,对该网络进行训练;接着,利用训练好的网络提取得到待配准图像的匹配点对,并利用GSM算法进行误匹配点剔除,得到最终的空间变换模型;最后,对待配准图像进行图像变换,并通过薄板样条插值法得到配准结果。本发明结合了深度学习方法和几何特征方法的优点,在挖掘深层语义信息的同时保留了空间细节信息,能够确保特征匹配的准确性和有效性,提高多模态图像配准的精度和鲁棒性。

主权项:1.一种基于特征融合和Transformer的多模态图像配准方法,其特征在于步骤如下:步骤1:获取多模态图像对数据集,包含同一场景的若干组光学-光学、光学-红外、光学-深度、光学-地图、光学-SAR图像、白天-夜晚图像对,每个图像对中一幅作为参考图像,另一幅作为待配准图像;步骤2:构建特征检测与匹配网络模型,以步骤1获取的数据集中的图像对为输入量,以其匹配点对为输出量,对该网络进行训练;步骤3:对于两幅给定的待配准图像,将其输入到步骤2训练好的特征检测与匹配网络,得到图像的匹配点对;步骤4:利用GSM算法对匹配点对进行误匹配点剔除,再根据剩余匹配点对按下式计算得到空间变换模型: 其中,xref,yref表示参考图像中点的坐标,xsen,ysen表示待配准图像中对应匹配点的坐标,s表示缩放因子,θ表示旋转角度,tx和ty分别表示水平和垂直方向的平移量;步骤5:利用步骤4获得的空间变换模型对待配准图像进行变换计算,得到经过空间变换的图像特征点,再采用薄板样条插值法对图像特征点进行插值处理,得到图像的配准结果。

全文数据:

权利要求:

百度查询: 西安爱生技术集团有限公司 西安电子科技大学 基于特征融合和Transformer的多模态图像配准方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。