买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学

摘要：本发明公开了一种基于融合手工特征与深度特征的图像匹配方法，包括以下步骤：提取图像的手工特征生成手工特征描述符，对所得特征描述符进行L1归一化并对每一个元素求平方根；重新构建彩色图像的尺度金字塔，在相应金字塔层上提取局部图像块，并将图像块旋转至主方向；使用坐标注意力残差网络CAR‑HyNet模型对局部图像块提取深度特征，并生成深度特征描述符；训练CAR‑HyNet模型，并使用三元损失训练出最优模型；提取手工特征描述符与深度特征描述符双方对特征点的置信程度，将手工特征描述符与深度特征描述符进行决策级融合，生成新的特征点；筛选待配对图像中正确匹配的特征，得到包含两幅待配对图像中正确匹配的特征点对。

主权项：1.一种基于融合手工特征与深度特征的图像匹配方法，其特征在于，包括以下步骤：S1、使用SIFT算法提取图像的手工特征并生成手工特征描述符，对所得特征描述符应用Hellinger核进行L1归一化并对每一个元素求平方根；S2、对特征点进行筛选后，重新构建彩色图像的尺度金字塔，并围绕特征点在相应金字塔层上提取局部图像块，并将图像块旋转至主方向；S3、训练坐标注意力残差网络CAR-HyNet模型，并使用三元损失训练出最优模型；S4、使用训练后的坐标注意力残差网络CAR-HyNet模型对局部图像块提取深度特征，并生成深度特征描述符；S5、使用特征匹配算法，提取用于表征手工特征的手工特征描述符与用于表征深度特征的深度特征描述符双方对特征点的置信程度，将手工特征描述符与深度特征描述符在欧式空间中进行决策级融合，生成新的包含潜在匹配对的特征点；S6、筛选待配对图像中正确匹配的特征，去除误匹配点，得到包含两幅待配对图像中正确匹配的特征点对；所述坐标注意力残差网络CAR-HyNet模型以基于卷积神经网络HyNet为基础，在layer1层中的第三个block块和layer2层的第二个block块中增加坐标注意力模块CoorAtt以增强对位置信息的关注，在layer3层和layer6层添加坐标注意力沙漏模块，并以残差方式连接；坐标注意力模块的最终输出为： 其中，i∈[0,W,j∈[0,H表示所处在水平和垂直方向上的位置，xci,j为在通道c处、水平i处、垂直j处的特征值，和分别为通道c处的竖直方向h和水平方向w上注意力机制的权重，yci,j为对应xci,j附加权重后的输出；所述坐标注意力沙漏模块将输出的特征与最原始的输入特征进行叠加；第一层使用尺寸为3x3的深度可分离卷积Dwise3x3，先提取一次特征；将前述的坐标注意力模块CoorAtt放置在第一层3x3深度可分离卷积Dwise3x3之后，并以残差方式Cat拼接两者特征；然后使用尺寸为1x1的卷积Conv1x1进行降维；再使用1x1的卷积Conv1x1进行升维，还原到输入时的维度；最后以短连接方式将上一步的特征与最原始的输入特征进行叠加；步骤S5，包括以下步骤：S501、对于待匹配的两幅图像，经过步骤S3和S4后分别获得的两幅图像的手工特征描述符和以及深度特征描述符和S502、对两种特征，分别计算特征点在欧式空间下的距离： 其中，dim表示特征描述符的维度，为手工特征描述符，为深度特征描述符；S503、对手工特征描述符和深度特征描述符，分别使用最近邻比值法，计算其最近邻点，得到手工特征描述符下第i个特征点与其他特征点之间的欧氏距离和深度特征下第i个特征点与其他特征点之间的欧氏距离其中，m＝1、2时表示最近邻和次近邻；使用最邻近距离比值法判断是否匹配成功，即当最近邻距离与次近邻距离的比值小于指定值，则认定匹配成功；S504、首先依次遍历SIFT的特征点，对于每个特征点的2个最近邻点，找出该两点在CAR-HyNet特征点上对应位置的距离，使用最邻近距离比值法根据手工特征描述符与深度特征描述符对特征点是否匹配成功的判定，自动调整加权值w，使得判定为成功的一方保留下来；S505、调整加权值w∈[0,1]，将手工特征描述符与深度特征描述符的欧式距离融合，生成新的距离作为该对特征点的最近邻和次近邻距离融合公式如下： S506、再依次遍历CAR-HyNet模型的特征点，重复步骤S505，完成交叉验证，并剔除前一次执行完步骤S505与本次执行完步骤S505中的重复特征点。

全文数据：

权利要求：

百度查询： 华南理工大学 一种基于融合手工特征与深度特征的图像匹配方法