买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨工业大学

摘要：本发明公开了一种基于Chernoff距离和SVM的高光谱数据多分类方法，其步骤如下：一、对输入数据进行预处理，得到归一化数据；二、计算任意两个类别之间的Chernoff距离，得到Chernoff距离矩阵；三、确定多分类任务OAA策略下的执行顺序表，得到每个波段以及全波段的可分性度量；四、构建基于Chernoff距离的子分类器指导系数；五、采用基于Chernoff距离的加权SVM分类器执行整个OAA策略所确定的分类任务，直到得到各个测试样本的最终单一类别属性。本发明不仅提高了传统的SVM方法的精确度，而且对小样本类别的分类精度有较大的提高，适用于基于OAA分类策略的高光谱图像模式识别应用。

主权项：1.一种基于Chernoff距离和SVM的高光谱数据多分类方法，其特征在于所述方法步骤如下：一、对输入数据进行预处理，得到归一化数据；二、计算任意两个类别之间的Chernoff距离，得到Chernoff距离矩阵，所述Chernoff距离计算方法如下：其中，Ωkp，q为第p类和第q类之间的Chernoff距离，k为当前波段号，Meanp与Meanq分别为第p类和第q类在第k‑1、k和k+1三个波段上的均值矩阵，Covp与Covq分别为第p类和第q类在第k‑1、k和k+1三个波段上的协方差矩阵，β为Chernoff距离调节参数，且0＜β＜1；Chernoff距离矩阵计算方法如下：Cp，q为B×1的向量，B表示多光谱遥感图像的波段数目，p＝{1，2，...，L}，q＝{1，2，...，L}且p≠q；三、确定多分类任务OAA策略下的执行顺序表，得到每个波段以及全波段的可分性度量；四、构建基于Chernoff距离的子分类器指导系数，具体步骤如下：1对于最先分类的类别Class1，若Class1＝i，其中i∈{1，2，...，L}，L 是类别数目，即Class1对应的类别为第i类，位于Chernoff矩阵中的第i行，则子分类器指导系数为2按照OAA策略下的执行顺序表Class1，Class2，...，Classl，...，ClassL，进行到Classl的时候，若Classl＝j，其中j∈{1，2，...，L}，计算时把已分类类别的Chernoff距离向量Cp，q排除在外，则子分类器指导系数为3最后对CIassL‑1和ClassL分类，只需进行一次分类即可；五、采用基于Chernoff距离的加权SVM分类器执行整个OAA策略所确定的分类任务，直到得到各个测试样本的最终单一类别属性。

全文数据：一种基于Chernoff距离和SVM的高光谱数据多分类方法技术领域[0001]本发明属于模式识别领域，涉及一种优化训练数据的基于ChernofT距离的SVM分类方法。背景技术[0002]高光谱图像数据通常由数百个连续分布的波段构成。把整个数据看成一个三个维度数据长方体，其中两维确定对象在观测平面中的位置，第三维确定对象在光谱波长中的位置。以AVIRISAirborneVisibleInfraredImagingSpectrometer高光谱数据为例，相邻两个波段之间一般仅相隔IOnm左右。由于图像空间相邻波段的波段间相关性非常强，使得传统分类方法必须进行降维之后才能继续处理数据，常用的方法为波段选择。因为核方法kernelmethod受输入空间高维数的影响很小，所以越来越多的研究者选择核方法。无论是否选择波段选择，核方法都具有优良的分类性能，例如我们非常熟悉的支持向量机SupportVectorMachines，SVM分类器。但是，很少有研究致力于扩展SVM方法使其更适合高光谱数据的多分类应用。[0003]分类错误概率是模式识别中特征有效性的最佳度量，特征选择的理想目标使达到分类错误概率最小。但这点往往难于做到。因此错误概率上界最小常常是一种合理的选择。Chernoff提出的错误概率上界是最小的，称Chernoff上界。Chernoff上界可以有效提高单个核分类器的分类精度，且对于核分类器的分类策略有一定的指导作用。[0004]由于SVM在本质上只能完成二分类任务，高光谱数据的典型多分类应用往往需要借助多个SVM及一定的策略来构建多分类器。目前利用高光谱数据第三维信息对SVM进行改进的工作主要集中在以下两个方面:一是对高光谱输入数据进行滤波处理，二是生成定制化的核函数。但是这些方法都只针对统一的SVM。对于组建多分类器的各SVM，以往的研究都采取了一致对待的简单方案。更加精确的方法是采取一种更为有利的多分类方案，即根据各子分类器所处理的两类对象的特点对其进行核函数的单独定制。在多分类策略上，广泛应用的是OAAOne-Against-All，一对多）和0A0One-Against-One，一对一）两种策略，他们各有优缺点，前者的子分类器数量较少，但各子分类器的训练时间较长，后者的子分类器数量较多，但各子分类器的训练时间较短。而分类精度方面，二者在经过参数寻优之后差别并不大。发明内容[0005]本发明的目的在于提出一种改进的基于Chernoff距离的SVM分类方法，通过引入Chernoff距离加权矩阵，使得分类器在训练的过程中充分利用样本的类间信息，且利用Chernoff距离对OAA策略分类顺序选择给予指导，不仅提高了传统的SVM方法的精确度，而且对小样本类别的分类精度有较大的提高，适用于基于OAA分类策略的高光谱图像模式识别应用。[0006]本发明的目的是通过以下技术方案实现的：[0007]一种基于ChernofT距离和SVM的高光谱数据多分类方法，包括如下五个步骤：[0008]一、对输入数据进行预处理，得到归一化数据；[0009]二、计算任意两个类别之间的Chernoff距离，得到Chernoff距离矩阵；[0010]三、确定多分类任务OAA策略下的执行顺序表，得到每个波段以及全波段的可分性度量；[0011]四、构建基于Chernoff距离的子分类器指导系数；[0012]五、采用基于Chernoff距离的加权SVM分类器执行整个OAA策略所确定的分类任务，直到得到各个测试样本的最终单一类别属性。[0013]本发明与现有技术相比，具有如下优点：[0014]1、在传统的SVM分类方法中，引入Chernoff距离加权矩阵，使得分类器在训练的过程中充分利用样本的类间信息，从而改善分类效率。由于本方法在各子分类器的优化上采取了更具有针对性的做法，因而能够有效地提高各子分类器的分类精度，从而提高多分类器的最终分类精度。[0015]2、与传统的OAA分类策略相比，本方法中利用对OAA策略下的各子分类器执行顺序给予指导，具体是通过利用Chernoff计算得到的总体可分性度量来确定该执行顺序表，这就使得可分性好的类别首先从测试样本中分出去，可分性不好的类别则依次放在最后进行区分。而且，在每次子分类器进行分类的时候，所采用的加权系数，即分类指导系数，都是根据剩下的类别来综合计算的，已经分出的类别并没有考虑，这也增强了加权分类的针对性，从而将每个子分类器的分类误差进一步降低。附图说明[0016]图1为本发明的流程图；[0017]图2为高光谱图像数据原始图；[0018]图3为高光谱图像数据标签图；[0019]图4为标准SVM核函数分类效果图；[0020]图5为基于Chernoff距离的核函数分类效果图。具体实施方式[0021]下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。[0022]具体实施方式一:本实施方式提供了一种基于Chernoff距离和SVM的高光谱数据多分类方法，通过预处理将输入数据正规化，计算任意两个类别之间的Chernoff距离并利用可分性度量指导OAAOne-Against-All，一对多）策略分类顺序以提高分类精度，利用Chernoff距离向量对单个子分类器进行加权，接着多次使用加权SVM分类器对样本分类。[0023]如图1所示，共分为五个步骤，具体步骤如下：[0024]步骤一:设置训练样本与测试样本。[0025]1对于拍摄的多光谱遥感图像，其中R〇w，Column表示多光谱遥感图像的宽和长，B表示多光谱遥感图像的波段数目，设XzeRB，z=l，2,...，N是B维样本，yze{1，2,...，L}是与心相关的类别标签，其中N是样本数目，L是类别数目。[0026]2将同一类别的像素全部集中到一起，对所有像素中涉及到分类类别的像素都这样处理。[0027]3给分组系数Group赋值，同时该系数也就是常说的“几折交叉验证”的折数。[0028]4将原始样本分为训练样本与测试样本，分别用二维矩阵TrainSamples和TestSamples来表示，列向量对应单一像素的各波段的光谱信息数据，其中训练样本占总样本的ΙGroup，其余1-GroupGroup剩余样本为测试样本。[0029]5对训练样本和测试样本进行归一化处理。[0030]步骤二:计算两个不同类别之间的Chernoff距离。[0031]1选择两个不同的类别，设为第P类和第q类。[0032]设nP和nq分别为训练样本中第P类和第q类样本的个数。对于样本的第k-l、k和k+1三个波段，首先将这三个波段的数据进行归一化处理，接着将这三个波段上的第P类和第q类样本的数据按照列向量的形式存到两个临时变量矩阵Dp和Dq中，其中Dp为nPX3维的矩阵，Dq为nqX3维的矩阵。[0033]2计算Dt^Dq每一列的均值，得到两个IX3的均值矩阵Meant^Meanqt3[0034]3计算Dt^Dq的协方差，得到两个3X3的协方差矩阵CovACovq。[0035]4对所有两两不相同的类别进行Chernoff距离计算：[0037]其中，Ωkq,q为第P类和第q类之间的Chernoff距离，k为当前波段号，Meanp与Meanq分别为第P类和第q类在第k_l、k和k+Ι三个波段上的均值矩阵，Covp与Covq分别为第p类和第q类在第k-1、k和k+Ι三个波段上的协方差矩阵，β为Chernoff距离调节参数，且0表示，其中ClassiG{1，2，···，L}，1—I，2，···，L〇[0047]步骤四：构建基于Chernoff距离的子分类器指导系数。[0048]当OAA策略下的执行顺序确定之后，我们即可通过L个子分类器每个子分类都是二分类器来完成所有L类的分类任务，具体执行顺序为:首先通过ClassjP所有剩余类别的二分类来确定出测试样本中标签序号等于Classi的样本，接着通过Class2和所有剩余类别注意此时已经不含有Classi类别）的二分类来确定出测试样本中标签序号等于Class2的样本，依次执行下去，最后一个二分类器将判断Classy和Clasa的类别归属。[0049]具体每一个子分类器都将含有一个基于Chernoff距离的子分类器指导系数，用于提高各子分类器的分类性能，获得置信率更高的分类结果，该子分类器指导系数的计算过程具体如下：[0050]1对于最先分类的类别Class1，若ClasS1=i，其中ie{1，2,...，L}JPClassdtS的类别为第i类，位于ChernofT矩阵中的第i行，则子分类器指导系数为：[0052]其中，C1,q为Chernoff矩阵中第i行，第q列的元素。[0053]2按照OAA策略下的执行顺序表，进行到Classi的时候，若Classi=j，其中je{1，2,...，L}，计算时把已分类类别的Chernoff距离向量CP,q排除在外，则子分类器指导系数为[0054]3最后对ClaSSL-I和ClaSSL分类，只需进行一次分类即可。[0055]步骤五:采用基于Chernoff距离的加权SVM分类器执行整个OAA策略所确定的分类任务，直到得到各个测试样本的最终单一类别属性。[0056]1首先选择合适的核函数。由于RBF核对于多种数据类型的适应性更强，且对OAA策略下容易造成一种类别与多种类别的数量差异较大的分类问题有很好的计算结果，所以本发明选择RBF核作为SVM分类器的核函数；同时，我们为了将之前采用Chernoff距离得到的针对第P类的分类指导系数〇[0073]执行步骤四：计算基于Chernoff距离的各子分类器指导系数[0074]执行步骤五:利用分类指导系数对各子分类器加权，接着对训练样本再次归一化并对其进行SVM分类。由于RBF在高光谱数据处理领域具有较好的参数适应性，因此我们取惩罚因子为1〇〇,参数σ为0.4即可。[0075]加入标准SVM核函数作为对比实验。保持输入样本不变，不对单个子分类器进行加权，且OAA策略为按类别依次分类。[0076]结论:对比试验的结果见表2。基于Chernoff距离的多分类方法均较标准SVM方法的平均分类精度有10%左右的提升，总体精度也有2%的提升，但后者相对于前者的提升并不十分明显。从支持向量总数来看，改进的核方法的支持向量数略多于原本的核函数，可见基于Chernoff距离的多分类方法会使得训练的过程略微复杂化，但训练时间和测试时间减少。虽然改进核方法对核函数中的每个元素都增加了加权系数的乘积运算，但是无论是训练还是分类，改进的核方法所消耗的时间都会比标准SVM方法更少。但是计算ChernofT加权矩阵的时间远大于训练和分类的时间，而这一部分的时间是没有计入的。所以综合这两方面因素，本方法实际消耗的时间是大于标准SVM方法的。[0077]表2采用RBF核时的分类精度、支持向量总数及时间消耗的比较[0078]Τ〇〇79Ϊ~图4为标准SVM核函数的分类结果图，图5为CHernoff距离核函数的分类结果图。由图中我们可以发现，对于天空，树和云三个类别来说，由于训练样本的数量足够，所以分类的效果差别不大，仅仅是个别点的区别。然而对于飞机来说，由于样本点本身非常少，所以训练的难度非常大。而相对于标准的SVM方法来说，本方法提出的基于ChernofT距离的多分类方法的分类效果要更好。

权利要求：1.一种基于Chernoff距离和SVM的高光谱数据多分类方法，其特征在于所述方法步骤如下：一、对输入数据进行预处理，得到归一化数据；二、计算任意两个类别之间的Chernoff距离，得到Chernoff距离矩阵，所述Chernoff距离计算方法如下：其中，Qkp,q为第p类和第q类之间的Chernoff距离，k为当前波段号，Meanp与Meanq分别为第P类和第q类在第k_l、k和k+Ι三个波段上的均值矩阵，Covp与Covq分别为第p类和第q类在第k-l、k和k+Ι三个波段上的协方差矩阵，β为ChernofT距离调节参数，且0，进行到Classi的时候，若Classi=j，其中je{1，2,...，L}，计算时把已分类类别的Chernoff距离向量CP,q排除在外，则子分类器指导系数为3最后对ClassL-i和Clasa分类，只需进行一次分类即可；五、采用基于Chernoff距离的加权SVM分类器执行整个OAA策略所确定的分类任务，直到得到各个测试样本的最终单一类别属性。2.根据权利要求1所述的基于Chernoff距离和SVM的高光谱数据多分类方法，其特征在于所述步骤一的具体步骤如下：1对于拍摄的多光谱遥感图像其中R〇w，Column表示多光谱遥感图像的宽和长，B表示多光谱遥感图像的波段数目，设XzeRB，z=l，2,...，N是B维样本，yze{1，2,...，U是与^相关的类别标签，其中N是样本数目，L是类别数目；2将同一类别的像素全部集中到一起，对所有像素中涉及到分类类别的像素都进行同样处理；3给分组系数Group赋值；4将原始样本分为训练样本与测试样本，分别用二维矩阵TrainSampIes和TestSamples来表示，列向量对应单一像素的各波段的光谱信息数据；5对训练样本和测试样本进行归一化处理。3.根据权利要求1所述的基于Chernoff距离和SVM的高光谱数据多分类方法，其特征在于所述β数值选择4.根据权利要求1所述的基于Chernoff距离和SVM的高光谱数据多分类方法，其特征在于所述步骤三的具体步骤如下：1对第P类训练样本与其他类别的Chernoff距离向量求和，得到每个波段上对其他所有类别的ChernofT距离向量，作为子分类器的指导系数，每个波段上第P类训练样本与其他类别的Chernoff距离为2将中每个波段相加，得到第p类在所有波段上对其他所有类别的总体可分性度量3将所有类别的总体可分性度量按数值大小递减的顺序排列，则OAA策略下的执行顺序表即为该排列顺序，用有序集〈Classi，Class2,··.Classi，···，ClassL表示，其中Classie{l，2，...，L}，l=l，2，...，L〇5.根据权利要求1所述的基于Chernoff距离和SVM的高光谱数据多分类方法，其特征在于所述步骤五的具体步骤如下：1选择加权改进的RBF核函数作为基于Chernoff距离的加权SVM分类器的核函数，其彳为针对第P类的分类指导系数，且在加权后进行归一化处理；2依照步骤三所确定的分类策略，采用步骤1中所构建的基于Chernoff距离的加权SVM分类器去完成训练和测试；3反复执行步骤2，直到所有OAA策略所确定的分类任务都完成后，这时整个针对测试样本的多分类任务即可终止。

百度查询： 哈尔滨工业大学 一种基于Chernoff距离和SVM的高光谱数据多分类方法