买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学

摘要：本发明公开了一种面向含缺失数据的手势动作分类方法，过程如下：获取含缺失数据的手势动作数据集，依据缺失信息将其划分为观察值集和缺失值集；利用观察值集中每一列变量的均值对缺失值集进行预填补；基于预填补的数据，训练一个基于类别感知最优运输神经网络的手势动作分类器；利用手势动作分类器对预填补数据中的观察值进行重构，隐式地利用分类器的类别感知信息对缺失值进行填补；同时，采用最优运输理论减少同类别手势动作数据分布距离，显式地利用类别感知信息对缺失值进行填补；将填补后的数据作为感知机的输入，并最终输出分类结果。本发明将类别感知和最优运输理论应用于含缺失数据的手势动作分类领域，有效提高了分类的准确率和效率。

主权项：1.一种面向含缺失数据的手势动作分类方法，其特征在于，所述手势动作分类方法包括以下步骤：S1、获取含缺失数据的手势动作数据集，依据缺失信息将其划分为观察值集和缺失值集，过程如下：S11、获取含缺失数据的手势动作数据集Z，表示为其中Yn表示第n个样本Xn的标签，N为数据集Z中包含的样本总数，第n个样本Xn表示为x1,x2,…,null,…,xd,…,xD，其中null表示缺失值，xd表示第d个变量，d的取值范围为[1,D]，D为样本Xn包含的变量总数；S12、依据数据集Z中每个样本Xn中标记为null的缺失信息，数据集Z中所有样本包含的缺失信息定义为一个N行D列的掩码矩阵M∈{mnd}N×D，mnd的取值为1或者0，如果mnd等于1表示样本Xn的第d个变量xd为缺失值，mnd等于0表示为观察值，依据掩码矩阵M中mnd值全为0的对应样本的变量划分为观察值集，将mnd值全为1的对应样本的变量划分为缺失值集；S2、利用观察值集中每一列变量的均值对缺失值集中每一列变量进行预填补，得到预填补的完整数据集，过程如下：S21、利用步骤S12中获取的观察值集，计算观察值集中所有样本同列变量数值的均值，得到一个长度为D的数组B，数组B中的每一个元素表示对应变量所在列的均值；S22、利用步骤S21中获取的数组B对步骤S12中获取的缺失值集进行均值预填补，采用数组B中所在列对应的值对缺失值集中所有样本对应列变量值为null的变量进行预填补；S3、基于预填补的完整数据集，训练一个基于类别感知最优运输神经网络的手势动作分类器，所述手势动作分类器包括一个基于类别感知最优运输的填补模块和一个基于感知机的分类模块，过程如下：利用步骤S22中得到的预填补的完整数据集，训练一个基于类别感知最优运输神经网络的手势动作分类器，采用基于类别感知最优运输的填补模块执行缺失值填补任务优化的同时，将上述填补模块得到的完整数据输入到基于感知机的分类模块进行分类训练，实现对包含缺失值数据的填补任务和分类任务的联合优化；所述基于感知机的分类模块由三层神经网络组成，其输入数据是基于类别感知最优运输的填补模块执行缺失值填补后的完整数据；S4、在所述基于类别感知最优运输的填补模块中对预填补数据中的观察值进行重构，并隐式地利用基于感知机的分类模块中的类别感知信息对缺失值进行填补，过程如下：S41、在所述基于类别感知最优运输的填补模块的输入层与输出层中观察值位置构建一对一的映射关系，对观察值进行重构，促使输出层在缺失位置得到的填补值获取观察值的分布信息，映射关系定义如下： 其中，表示全1的行向量，⊙表示向量间的元素积，其中样本表示经过步骤S22中均值预填补的数据，表示所述基于类别感知最优运输的填补模块中输入层的输入值，Ximp表示所述基于类别感知最优运输的填补模块中输出层的输出值，mn表示步骤S12中定义的缺失掩码矩阵M中的一个行向量，表示样本的缺失掩码信息；S42、对Ximp中观察值位置的变量，采用经过均值预填补的数据中观察值变量对Ximp中对应观察值位置的数值进行替换，获取对含缺失值数据Xn执行填补后的完整手势动作数据Xcom表示如下： 将数据集Z中所有样本Xn对应的Xcom作为基于感知机的分类模块的输入数据，参与分类任务的训练，在分类任务优化过程中隐式地利用感知机的类别感知信息对缺失位置变量的填补任务进行优化；S5、采用最优运输理论减少从同类别内随机选取的两组数据分布距离，使得同类数据分布相似，显式地利用手势动作类别感知信息对缺失值进行填补，过程如下：S51、依据步骤S42中得到的数据集Z中所有样本Xn对应的完整手势动作数据Xcom，将所有完整手势动作数据Xcom组成的数据集记为Zcom，首先从Zcom中同类手势动作数据内部随机选取两组样本数量均为T的数据子集和其中，k表示数据集Zcom中第k类手势动作数据，a和b分别表示随机选取的不同数据子集，通过最优运输理论衡量两个离散测度α和β的分布差异，数据子集和依据最优运输理论转换为离散测度和依据最优运输理论，采用表示同类手势动作数据内选取的两个数据子集在物理空间层面上的数据分布距离，且的值越小，表示从同类手势动作数据内选的两个数据子集和间的数据分布差异越小；S52、由于数据集Zcom中所有数据Xcom中的观察值一直保持不变，通过减小同类手势动作数据子集和之间分布差异，使得同类手势动作数据分布更加相似，上述过程转换为对同类手势动作数据的进行填补的损失函数具体如下： 其中K表示数据集Zcom中的类别数，L表示在类别k内重复随机取数据子集的次数，上式采用表示随机从类别k内选取的两个数据子集和Sinkhorn表示最优运输理论中的Sinkhorn算法，求取离散测度变换和之间的最优运输方案，使得随机选取的数据子集和之间的数据分布差异变小；S6、将经过基于类别感知最优运输的填补模块填补后的完整数据作为基于感知机的分类模块的输入，训练类别感知最优运输神经网络，并将含缺失数据的测试集作为训练好的类别感知最优运输神经网络的输入，输出最终的手势动作分类结果，过程如下：S61、将S52中经过最优运输理论对同类别数据进行约束后的所有数据Xcom输入到基于感知机的分类模块中进行分类，分类的学习目标表示如下： 其中N表示数据集Zcom中的样本数，K表示数据集Zcom中的类别数，表示对含缺失值数据Xn进行填补后的Xcom是类别k的二进制标签，pYn|Xcomk表示分类器预测样本Xcom为类别k的概率；S62、Xcom中缺失位置的变量信息在基于类别感知最优运输的填补模块中受到步骤S41中的和步骤S52中的约束进行填补任务的训练，同时Xcom的缺失位置变量信息也会受到步骤S61中基于感知机的分类器模块中的的约束进行分类任务的训练，使得Xcom中缺失位置的变量信息能够同时进行填补和分类任务，基于类别感知最优运输神经网络的手势动作分类器的整体学习目标表示如下：

全文数据：

权利要求：

百度查询： 华南理工大学 一种面向含缺失数据的手势动作分类方法