买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江南大学

摘要：本发明公开了基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法，主要解决红外和可见光图像融合时细节丢失和对比度不高的问题。其实现步骤是：1对待融合图像进行NSST变换，得到低频和高频子带；2低频子带采用区域能量差异度的加权融合规则；3高频子带设计了上下文隶属度，并建立MCHMM，根据多状态统计特征设计融合规则；4融合后的高、低频系数执行NSST逆变换获得融合图像。本发明充分考虑了系数之间的相关性，精确地表示源图像的纹理、细节等特征，充分提取红外图像的目标信息，增强图像的对比度，改善视觉效果，相比传统的融合方法极大地提高了融合图像的质量。

主权项：1.基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法，其特征在于，对低频子带采用基于区域能量差异度的融合方法，对高频子带系数设计上下文细节隶属度，并构建多状态上下文隐马尔科夫模型，然后提取多状态统计特征用于度量图像细节性，最后采用基于多状态统计特征的融合规则得到高频融合子带；包括以下具体步骤：1对表征图像近似信息的低频子带，采用基于区域能量差异度的加权融合策略进行融合；a计算低频系数在W1×W2邻域内的区域能量： 其中，I代表红外图像A或可见光图像B，表示图像在x,y位置处的低频子带系数，W1×W2表示窗口邻域；b对低频子带的区域能量进行归一化处理：VLEIx,y＝LEIx,y-minLEImaxLEI-minLEI,I＝A,B其中，max·表示取最大值，min·表示取最小值；c根据低频子带区域能量的差异度确定权重wx,y，得到融合后的低频子带系数具体公式如下：wx,y＝0.5+VLEAx,y-VLEBx,y2， 2对表征图像细节特征的高频子带，通过综合多状态统计特征用于度量图像的细节性，采用基于多状态统计特征的融合规则进行融合；2.1根据上下文相关性定义系数的上下文细节隶属度；首先，根据系数的相关性构建上下文子带，用NAt、NBt分别表示当前系数的4个直接邻居和4个对角邻居，t＝1,2,3,4，PX表示父系数，CX1、CX2表示两个相邻的表兄弟系数，那么一个系数的上下文定义如下： 其中，ω0,ω1,ω2,ω3表示权重系数；然后，计算系数的上下文细节隶属度值： 其中，σ表示当前子带的上下文context的标准差，E，EP，分别表示当前子带、父子带和两个相邻兄弟子带的平均能量，定义如下： 其中，E*代表4个平均能量中的一个，N表示当前子带的系数总个数，C2表示当前子带系数的平方；2.2在高频方向子带构建多状态上下文隐马尔科夫模型MCHMM，利用期望最大化EM算法分初始化和迭代训练两步来估计模型参数；首先，利用多状态、零均值的高斯混合模型GMM来刻画高频方向子带系数的非高斯分布特性，每个系数都与一个上下文细节隶属度和一个隐状态相关联，接着进行MCHMM统计建模， 其中，n是大于2的正整数，表示MCHMM的状态数，隐状态m的取值是从0到n-1的自然数，Cj,k,x,y表示在j尺度k方向x,y位置的高频子带系数，Vj,k,x,y为系数的上下文细节隶属度，Sj,k,x,y为系数的隐状态变量，是隐状态为m时的概率，是系数的上下文细节隶属度的值为v的条件下系数隐状态为m的概率，表示当前系数在上下文细节隶属度为v时的概率密度函数，gCj,k,x,y；0,σ2j,k,x,y,m表示系数在给定隐状态为m的条件下的均值为零，σ2j,k,x,y,m为方差的高斯条件概率密度函数，其均值为零，σ2j,k,x,y,m为以j尺度k方向x,y位置为中心的局部窗体的方差；MCHMM模型参数集定义为： 利用期望最大化EM算法来估计模型参数，分为初始化参数和迭代训练两步，具体步骤如下：一初始化参数；A设置初始参数，MCHMM的初始参数设置与状态数有关，每个隐状态的初始概率均等，各状态下的方差在最大方差2δ2j,k-σ2η和最小方差σ2η之间平均划分， 其中，和σ2j,k,m分别表示j尺度k方向高频子带的隐状态为m的概率和方差，σ2η为已知噪声方差，δ2j,k为j尺度k方向高频子带的平均能量；B期望E步骤，根据贝叶斯定理，对每一个系数Cj,k,x,y计算隐状态为m的概率： C最大化M步骤，根据期望E步骤中获得的概率，设置参数如下所示， 其中，Mj,k和Nj,k分别是j尺度k方向高频子带的行数和列数；D若参数收敛或达到预设的最大迭代次数，则进入下一步，否则迭代次数加1，并返回期望E步骤；E设置大小为2Wj+1×2Wj+1的窗口，并使用以下各式完成参数初始化，同时将模型训练次数设置为零， 其中，v表示局部窗口中每个系数的上下文细节隶属度，c是当前系数上下文细节隶属度，σ2是局部窗口中上下文细节隶属度的方差，ε代表一个很小的数，以避免分母为零；二迭代EM训练F期望E步骤，对每个系数计算以下概率： G最大化M步骤，通过下式更新模型的各个参数： 此处的计算都是在2Wj+1×2Wj+1窗口上进行，该窗口位于j尺度k方向子带以x,y为中心局部开窗，设置训练次数加1，并返回期望E步骤，直到参数收敛或达到预设的最大迭代次数；2.3基于每个系数在各状态下的概率和方差计算系数的细节性，结合上下文隶属度得到系数的活动测度，通过取大的融合规则得到高频融合子带；a首先计算系数在各状态下细节含量， 其中，I代表红外图像A或可见光图像B，表示隐状态为m时，j尺度k方向高频子带在x,y位置上的方差，Cj,k,x,y表示高频子带系数，Vj,k,x,y表示系数的上下文细节变量，表示在当前系数和上下文细节隶属度为v时，隐状态为m的概率；b根据系数在各状态下的细节含量的差异度，计算对应系数在各状态下的细节权重， 其中，mean·表示求平均值；c计算系数的多状态细节度，并将其归一化， d将系数的多状态细节度与上下文细节隶属度相结合，得到系数的活动测度， 其中，α是调节多状态细节度与上下文细节隶属度重要性的权重因子；e通过基于系数的活动测度取大的融合规则得到融合后的高频子带系数，

全文数据：

权利要求：

百度查询： 江南大学 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法