买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提出了一种基于多任务自动编码变换的低光特征检测和描述方法，该方法采用多任务自动编码变换机制将特征增强和特征提取耦合，以加强极端低光环境下特征检测和描述能力。所提出的方法利用低光退化参数预测解码器预测低光退化变换的同时促进编码器在正常光图像和暗光图像之间提取共同鲁棒的特征信息。所提出的全局描述子相似性可以减少特征信息中噪声和低光退化因素的影响，以提高低光环境下特征检测解码器的局部描述子的匹配性能。此外，所提出的多任务正交化约束使得梯度正则化以避免三种下游任务在特征提取时互相干扰。因此，所提出的方法可以在极端低光环境下有效地特征检测和描述，以便后续位姿估计获得更精确的结果。

主权项：1.基于多任务自动编码变换的低光特征检测和描述方法，其特征在于，它包括网络训练和推理两个过程：所述的网络训练过程具体描述为：步骤一，将相机拍摄到的具有刚体变换关系的正常光图像对即I和I’通过低光退化变换即t·来生成相应的暗光图像对即tI和tI’；步骤二，将正常光图像对和暗光图像对分别输入到共享权重的编码器即E[·]中生成对应的鲁棒特征图即E[I,I’]和E[tI,tI’]；步骤三，将鲁棒的特征图输入到退化参数预测解码器中来预测低光退化变换以形成低光环境下的自动编码变换机制，其过程表述为：tpre＝Dp{E[I,I’],E[tI,tI’]}，其中tpre表示预测的低光退化变换，Dp{·}表示退化参数预测解码器，该退化参数预测损失函数是：Ldeg＝lpPDeg,TDeg，其中lp·表示均方误差，PDeg和TDeg分别表示预测的低光退化参数和真实的低光退化参数；步骤四，将鲁棒的特征图输入到全局描述子解码器Dg中生成对应的图像全局描述子，并计算正常光图像对和暗光图像对的全局描述子相似性，全局描述子相似损失函数表示为：Lsim＝1-0.5·cosine{fg[I],fg[tI]}-0.5·cosine{fg[I’],fg[tI’]}，其中fg[·]表示全局描述子，cosine{·}是余弦相似度；步骤五，将暗光图像对的鲁棒特征图分别输入到特征检测解码器Dd中，具体过程为：a、首先将鲁棒的特征图输入到局部描述子网络，每个关键点对应的局部描述子的损失计算过程为：1、在暗光图像对的单张图像上的每一个窗口大小为gd×gd的网格中选取相同的随机偏移量作为初始关键点的位置；2、在图像tI中的每个关键点xi对应tI’的极线上均匀的选取N个点形成一个对应关键点集YEline，而xi的匹配概率表示为：P[yij|fxi,fwYEline]＝SoftMax[fxiTfwyij]，其中yij表示YEline上的点，f·与fw·分别表示tI和tI’的局部描述子图，SoftMax表示激活函数；3、计算图像tI中的每个关键点xi对应YEline的最大匹配概率以获得粗略的匹配点yimax，并在yimax的局部窗口中选取匹配点yicenter，其过程表示为：yicenter＝yimax+0.5·Wpatch·u，其中Wpatch是局部窗口的大小，u是随机偏移量；4、计算tI中的每个关键点xi对应yicenter的最大匹配概率的点作为更精准的匹配点yimaxp，而关键点xi和对应的匹配点yimaxp的极线距离表示为：Descxi,yi＝||yimaxp·Fmatrix·xi||1，其中Fmatrix是tI和tI’之间的基础矩阵，||·||1表示为L1范数；b、然后根据tI和tI’之间的相机内外参数求得的每个匹配关键点深度投影误差，其表达式为：Hxi＝|Warp[xi,Tc,dxi]-dyi|，其中|·|是绝对值符号，Warp[·]表示利用相机位姿变换计算投影深度的函数，Tc是相机的内外参数，dxi和dyi分别表示tI匹配关键点的真实深度值和tI’对应匹配关键点的真实深度值；之后，利用深度投影误差作为tI中匹配关键点xi的约束Mid，当深度误差阈值小于εd时，Mid为1，否则为0；同时将xi在tI’对应的匹配极线限制在图像边界内并作为另一种关键点约束Mic，那么tI和tI’的局部描述子损失函数可以表示为：Ldesc＝∑iWi·||yimaxp·Fmatrix·xi||1∑iWi，其中Wi是Mid和Mic的交集除以yimaxp的方差的掩膜；c、最后将tI和tI’的局部描述子图分别输入到关键点网络中得到对应关键点分数图，在窗口大小为gk×gk的每个网格中选取得分最高的点作为候选关键点集Q1和Q2，分数表达式为：Pkpx＝Sigmoidf·SoftMax[fGx]，其中Sigmoid·为激活函数，f表示候选关键点对应局部描述子，fGx表示候选关键点所在网格中对应的局部描述子；那么关键点损失函数可以表示为：Lkp＝{∑ilrewxi,yj+λreg[∑ilogPkpxi+∑ilogPkpyj]}|Q1|+|Q2|，其中λreg是正则化惩罚系数，lrewxi,yj表示为：lrewxi,yj＝Pmxi,yjRxi,yj·logPkpxiPkpyj，其中Pmxi,yj是Q1和Q2的相似度矩阵的近似匹配概率，且小于0.9的时被截断为0，Rxi,yj是Q1和Q2的几何得分，当Descxi,yj小于或等于极线距离阈值ε时，Rxi,yj为λpos，否则为λneg；步骤六，建立一个基于自动编码变换的多任务正交化约束，也就是最大化不同解码器任务输出沿切线的正交方向，表达式为：其中α是惩罚权重，E’、D’p、D’g和D’d分别是来自I’与tI’的编码器输出、退化参数预测解码器、全局描述子解码器和检测解码器；步骤七，利用正常光图像数据集和合成的暗光图像数据集训练编码器、退化参数预测解码器、全局描述子解码器和特征检测解码器；所述的网络推理过程具体描述为：步骤一、将暗光图像对输入到训练好的编码器和特征检测解码器，输出局部描述子图和关键点分数图；步骤二、利用非极大抑制、边界剔除以及分数阈值限制方法来获得关键点，并且通过关键点位置得到相应描述子；步骤三、计算从两幅具有刚体变换关系的暗光图像中提取的描述子的余弦距离，距离小于一定阈值的关键点作为匹配关键点。

全文数据：

权利要求：

百度查询： 四川大学 基于多任务自动编码变换的低光特征检测和描述方法