买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜复旦大学申请的专利一种对两帧图像进行自适应密集匹配计算的方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114743069B 。

龙图腾网通过国家知识产权局官网在2025-05-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210427447.1，技术领域涉及：G06V10/774；该发明授权一种对两帧图像进行自适应密集匹配计算的方法是由颜波;何瑞安;周诗力;谭伟敏设计研发完成，并于2022-04-21向国家知识产权局提交的专利申请。

本一种对两帧图像进行自适应密集匹配计算的方法在说明书摘要公布了：本发明属于视频与场景理解技术领域，具体为一种对两帧图像进行密集匹配计算的方法。本发明方法包括采用一种新的置信度驱动的自适应匹配网络模型，从不置信的点中挖掘匹配信息。通过迭代评估置信度和匹配不置信点来实现自适应匹配。其中，采用三种策略来评估置信度，每一种都伴随有不同的置信度表示、不置信点选择和损失函数。这些策略自适应地从流预测结果中提出了不确定的点。本发明还将密集匹配与特征匹配方法相结合，以匹配不确定的点，并为流预测结果提供指导。本发明方法促进了不置信区域的成对点的匹配。最终的模型以较低的时间和参数成本实现了最先进的性能。

本发明授权一种对两帧图像进行自适应密集匹配计算的方法在权利要求书中公布了：1.一种对两帧图像进行自适应密集匹配计算的方法，其特征在于，构建一个置信度驱动的自适应匹配网络模型，通过迭代评估置信度和匹配不置信度点来实现自适应密集匹配计算；具体步骤为：1使用深度学习网络提取输入图像的特征；具体采用孪生网络：匹配特征网络Nm和内容特征网络Nc来提取两帧输入图像I1和I2的匹配特征M1和M2和内容特征C1和C2；然后使用匹配特征计算成本量V，成本量V代表前后两帧相似度；再使用初始光流F，从成本量V中提取运动特征T；然后与内容特征C一起送入一个预测网络Np，预测匹配置信度CF和光流F’；2根据每次图像匹配中每次迭代的不同置信度评估来选择不置信点，这是在各种条件下进行匹配的一个自适应过程；为此，采用三种评估置信度的策略，每一种策略都伴随有不同的置信度表示、点选择和损失函数，以便自适应地提出不置信点集P1和P2；3对于不置信点集P1和P2，提取特征向量并自适应匹配这些点；具体采用特征匹配策略进行匹配，然后利用高匹配概率的相互流MF来更新光流，为不确定的点提供指导：4迭代地执行步骤1-3这个过程，从初始光流开始迭代预测置信度CF和光流F’，选择不置信的点并匹配，然后更新原有光流，最终得到迭代优化后的光流以及置信度图；5训练网络，输出每次迭代的流预测结果和置信图结果来计算损失函数；使用反向传播算法迭代更新神经网络，以达到在给定数据集上收敛的结果，并且泛化到其他数据集上；6使用训练的网络测试，只需要输入两帧图像，经过神经网络的推理，输出相应的密集匹配；步骤1中：所述采用孪生网络提取两帧输入图像的匹配特征M和内容特征C；然后使用匹配特征M计算成本量V，具体流程如下：输入的两帧RGB图像I1和I2，分别通过匹配特征网络Nm和内容特征网络Nc进行特征提取，得到匹配特征M1、M2和内容特征C1、C2；孪生网络代表对两帧图像处理的网络是相同的，共享同一份参数；根据提取的匹配特征M计算成本量V，并在特征匹配阶段进行特征匹配；成本量V的计算表示为如下公式：Vijkl＝∑hM1ijh·M2klh，1其中，M1和M2是提取的匹配特征，其大小为H×W×C，分别为高，宽，通道数；M1ijh表示匹配特征M1作为矩阵在i，j，h位置的值；运算符·表示乘法运算，这里针对第三维度h的每项乘积进行求和；V有四个维度，其大小为H×W×H×W，Vijkl表示匹配特征M1的i，j位置与匹配特征M2的k，l位置的相似度；所述使用初始光流F，从成本量V中提取运动特征T，其过程表示为如下公式：x＝u，v，x′＝u+f1u，v+f2v，2 其中，x代表特征图M1中某个点，u，v是其坐标；f1u、f2v表示初始流F在u,v处的流值，x′表示x经过初始流变换后的点坐标；运动特征T提取的是成本量V在也即x′的以r为半径的邻域的特征；dx是坐标偏移量，代表整数坐标，||dx||1≤r表示偏移量小于半径r；将运动特征T和内容特征C输入预测网络Np，产生匹配置信度CF和光流F’，这里针对两帧图像I1和I2都分别计算前向光流：I1到I2的匹配置信度CF1和光流F′1，和后向光流：I2到I1的匹配置信度CF2和光流F′2；步骤2中，所述的三种评估置信度的策略，每一种策略都伴随有不同的置信度表示、点选择和损失函数，以便自适应地提出不置信点集P1和P2，具体流程如下：1引入一对值fi，ci来表示一个点的流预测结果以及其置信度，以统一的方式来表示置信度评估的问题： 其中，D是置信度图上的点集，一共有n个点，每个点i都有流预测结果值fi和置信度ci，置信的点的c值是在0和1之间；2基于概率的置信度评估：目标是将特征图上的点分为两类，置信和不置信；这样，置信度预测和不置信度点的选择就变成一个二元分类问题；这两个类别的分类标准是一个偏差阈值；该偏差为光流网络预测的误差；将置信度作为偏差小于阈值的概率期望：ci＝Pδi≤δs，5其中，δi为偏差值，δs为阈值，P为概率；该阈值设置为实现过程中成本量的邻居半径；该预测网络作为一个二值分类器，设置最小置信度cs来区分不置信点，置信度ci低于cs的点被选为不置信的点；3基于价值的置信度评估：采用基于整个图像的置信度信息的策略，将方程扩展到一个回归问题，以避免分类阈值问题： 其中，δi是偏差，以一个预测的最大偏差的比值作为变量，用以评估置信度，并在大偏差的情况下选择不置信点，这里同样使用置信度阈值cs来选取不置信点；4为提高匹配效率，进一步使用排序来评估置信度，用如下公式来表示； 其中，rank是按降序计算第i偏差δi的秩，置信度阈值cs控制了匹配点的数量；从匹配置信度CF1、CF2中得到两帧针对预测的光流的不置信点集P1和P2，以方便之后进行匹配优化；步骤3中，所述采用特征匹配策略进行匹配，然后利用高匹配概率的相互流MF来更新光流，为不确定的点提供指导，具体流程如下：1自适应地匹配所选的点，以产生更准确的流；假设对于图像对，语义相似的区域具有相同的置信度，然后使用图像对中的不置信点P1和P2进行精确匹配；在完成不置信点的选择后，取出匹配网络提取的每个点的匹配特征M1和M2；2对提取的特征应用自注意和交叉注意；使网络在计算相关性之前学习与其他特征的关系；分别计算自我注意和交叉注意，并连接在一起以备以后的匹配；3使用一种高效的方法来执行匹配；首先对这些特征进行归一化处理，并计算出相关矩阵：Ri，j＝M1i，M2j，8其中，Ri，j为图像I1中的点i与图像I2中的点j之间的相关性；M1和M2是匹配的特征，·，·是内积；4然后，用以下条件对匹配的点对进行过滤：使用softmax进行匹配过滤；计算每一对匹配项的分数；图像I1的不置信点集P1的点o和图像I2的不置信点集P2的点j满足以下条件：在点集P2中，i的匹配点最有可能为j，在点集P1中，j的匹配点最有可能为i；每个点对i，j匹配的最终分数Pci,j使用以下公式来计算：Pci,j＝softmaxRi，·j·softmaxR·，ji，9其中，Ri，·表示相关矩阵的第i列，softmaxRi，·j表示经过softmax计算后第i列第j行的值，运算符·表示乘积；Softmax表示为如下公式： 其中，zj是向量z的第j个数，e表示自然指数，Σ表示对向量z所有数的自然指数求和；5不置信的点的特征来自匹配特征M1和M2；设置两个阈值来进行匹配：首先，匹配对i，j的相互概率Pci，j高于阈值以减少匹配误差点，这个准则被称为相互最近邻；其次，匹配对i，j的相关性Ri，j，也高于一个阈值，以减少不置信的匹配；匹配选择策略用以下公式来表示; 其中，MF是产生的匹配或称为相互流，θp是相互概率的阈值，θr是相关性的阈值；i，j∈P1，P2表示i，j是从点集P1，P2中生成的点对；6利用相互流MF更新光流的原始预测F’，然后进行下一次迭代，以提前纠正不正确的匹配，这是对密集流估计的一个指导，并且在后续迭代之前更准确；只在迭代的前α百分比中进行特征匹配，α取值为0.5；经过多次迭代，置信度增加，密集流估计可以处理匹配和细化对应关系，节省冗余匹配的计算。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人复旦大学，其通讯地址为：200433 上海市杨浦区邯郸路220号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。