买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院长春光学精密机械与物理研究所

摘要：本发明涉及图像处理技术领域，尤其涉及一种红外与可见光遥感图像的配准方法。包括：S1：将待配准的红外与可见光遥感图像对输入至Resnet提取网络，获得18和12分辨率特征图；S2：将18分辨率特征图输入至Transformer网络进行粗粒度特征提取，获得粗粒度特征图；S3：利用HNSW算法对粗粒度特征图进行最近邻搜索和匹配，获得初步匹配点集；S4：剔除初步匹配点集中的伪匹配点，获得控制点集；S5：对控制点集进行求解，获得空间变换模型矩阵；S6：构建粗粒度匹配点集；S7：采用外点剔除方法对细粒度特征图的外点进行剔除，获得最终的匹配结果。本发明解决了异源图像存在的稀疏纹理和辐射畸变问题。

主权项：1.一种红外与可见光遥感图像的配准方法，其特征在于，具体包括如下步骤：S1：将待配准的红外与可见光遥感图像对输入至Resnet提取网络进行多层次特征的提取，获得18分辨率特征图和12分辨率特征图；S2：将18分辨率特征图输入至Transformer网络进行粗粒度特征提取，对应获得红外遥感图像和可见光遥感图像的粗粒度特征图；S3：利用HNSW算法对所述红外遥感图像和所述可见光遥感图像的粗粒度特征图进行最近邻搜索和双向匹配，获得初步匹配点集；所述步骤S3具体包括如下步骤：S31：建立待匹配索引和模板索引，将所述红外遥感图像和所述可见光遥感图像的粗粒度特征图分别作为待匹配图像和模板图像对应输入至所述待匹配索引和所述模板索引进行k邻域搜索，对应获得待匹配图像和模板图像的k近邻集合： （1）； （2）；其中，为待匹配图像的k近邻集合，为模板图像的k近邻集合，为待匹配图像中第个点的近邻距离，为模板图像中第个点的近邻距离，为模板图像对应待匹配图像的点，为待匹配图像对应模板图像中的点；S32：通过下式对所述待匹配图像和所述模板图像的外点进行过滤，将过滤后所述待匹配图像和所述模板图像的相互最近邻进行匹配，获得初步匹配点集，包括模板点集和待匹配点集： （3）； （4）；其中，为阈值，；S4：利用软约束法建立几何一致性误差判定公式，通过所述几何一致性误差判定公式剔除所述初步匹配点集中的伪匹配点，获得控制点集；所述步骤S4具体包括如下步骤：S41：在所述初步匹配点集中确定目标匹配点对，并在所述初步匹配点集中随机选取除所述目标匹配点对之外的5个匹配点对建立所述待匹配图像和所述模板图像的局部随机矩阵： （5）； （6）；其中，为所述待匹配图像的局部随机矩阵，为所述模板图像的局部随机矩阵，为以待匹配图像的目标匹配点中的第个点为中心的坐标，，为在待匹配图像中除点外的剩余匹配点中随机抽取的匹配点的坐标，，为以模板图像的目标匹配点中的第个点为中心的坐标，，为在模板图像中除点外的剩余匹配点中随机抽取的匹配点的坐标，，为初步匹配点集的总个数；S42：根据所述步骤S41的计算结果，通过下式计算所述待匹配图像和所述模板图像中的所述目标匹配点与所述剩余匹配点的欧式距离： （7）； （8）；其中，为所述待匹配图像的欧式距离，为所述模板图像的欧式距离；S43：在所述待匹配图像和所述模板图像中，将所述目标匹配点与所述剩余匹配点一一进行连线，通过下式计算所述目标匹配点与所述剩余匹配点的相邻连线的夹角： （9）； （10）；其中，为所述待匹配图像的所述目标匹配点与所述剩余匹配点的相邻连线的夹角，所述模板图像的所述目标匹配点与所述剩余匹配点的相邻连线的夹角；S44：根据式（5）-式（10）建立几何一致性误差判定公式： （11）； （12） （13）； （14）；其中，为夹角误差，为长度误差；为模板图像的两个匹配点形成的线段与待匹配图像的两个待匹配点的线段的长度比均值；S45：将所述初步匹配点集中的所有匹配点对依次输入至所述几何一致性误差判定公式进行伪匹配点对的剔除，获得控制点集；S5：利用最小二乘拟合法对所述控制点集进行求解，获得空间变换模型矩阵；S6：根据所述空间变换模型矩阵，利用多约束增量式匹配法构建粗粒度匹配点集；S7：建立局部特征窗口，将所述局部特征窗口输入至所述Transformer网络进行特征融合，获得细粒度特征图，采用外点剔除方法对所述细粒度特征图的外点进行剔除，获得最终的匹配结果。

全文数据：

权利要求：

百度查询： 中国科学院长春光学精密机械与物理研究所 红外与可见光遥感图像的配准方法