买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国电子科技集团公司第五十四研究所

摘要：本发明公开了一种无人系统手势控制方法及系统，属于无人系统交互控制领域。本发明采用FLEX弯曲度传感器测量手指弯曲度，通过LSTM和卷积混合神经网络进行手势识别，根据手势识别结果生成无人机指令，并与无人系统控制器建立有效的MAVLINK通信，将无人机指令无线发送到无人系统控制器端执行。本发明方法简单，易于实现，手势识别的过程在手套端进行，脱离了计算机，并且准确度高，能实时、灵敏地控制无人系统运行。

主权项：1.一种无人系统手势控制方法，其特征在于，基于数据手套识别手势并对无人系统进行控制，包括以下步骤：（1）通过数据手套中的FLEX弯曲度传感器测量手指弯曲度；具体方式为：通过数据手套中的微处理器对五个通道FLEX弯曲度传感器进行电阻值测量，根据五个通道FLEX弯曲度传感器电阻值大小判别对应五个手指弯曲角度；（2）采用LSTM和卷积混合神经网络进行静态手势和动态手势的识别；所述LSTM和卷积混合神经网络包括一维卷积层Conv1D1、一维最大池化层MaxPooling1D1、一维卷积层Conv1D2、一维最大池化层MaxPooling1D2、LSTM1层、Dropout1层、LSTM2层、Dropout2层以及全连接层Dense；其中，Conv1D1输出数据的维度为32，卷积核的大小为7×7，步长为1，填充方式为same补零填充，采用Relu作为激活函数；MaxPooling1D1的池化内核大小为2×2，池化步长为1，填充方式为vaild不填充；Conv1D2输出数据的维度为32，卷积核的大小为7×7，步长为1，填充方式为same补零填充，采用Relu作为激活函数；MaxPooling1D2的池化内核大小为2×2，池化步长为1，填充方式为vaild不填充；LSTM1层的数据输出维度设定为32；Dropout1层设定dropout的比例为50%；LSTM2层数据输出维度设定为64；Dropout2层设定dropout的比例为50%；Dense1采用softmax多分类函数作为激活函数，进行静态或动态手势的分类，实现由特征到类别的映射；所述LSTM和卷积混合神经网络运行于数据手套的微处理器中；所述LSTM和卷积混合神经网络事先经过训练，训练方式为：采集10名志愿者的静态手势数据，经过数据处理之后作为静态手势数据集，放入微处理器的LSTM和卷积网络中进行训练；训练时，输入数据的大小为8000×60×5；其中，8000表示8000个训练数据，即，8种动态手势，10名志愿者，每个手势各做100次；60表示一个动态手势包含60个时间序列；5表示FLEX弯曲度传感器的五个通道，即每个手势的五个特征；采集10名志愿者的动态手势数据，经过数据处理之后作为动态手势数据集，放入微处理器的LSTM和卷积网络中进行训练；训练时，输入数据的大小为5000×180×5；其中，5000表示5000个训练数据，即，5种动态手势，10名志愿者，每个手势各做100次；180表示一个动态手势包含180个时间序列；5表示FLEX弯曲度传感器的五个通道，即每个手势的五个特征；步骤（2）的具体方式为：（201）采用LSTM和卷积混合神经网络进行8种静态手势的识别，8种静态手势包括：油门加、油门减、俯冲、后仰、左滚转、右滚转、左偏航、右偏航；（202）采用LSTM和卷积混合神经网络进行5种动态手势的识别，5种动态手势包括：解锁、上锁、切换自稳模式、切换定点模式、切换返航模式；（3）根据手势识别结果生成无人机指令，并与无人系统控制器建立有效的MAVLINK通信；（4）通过MAVLINK通信向无人系统控制器发送无人机指令；具体方式为：使用mavlink_msg_manual_control向无人系统控制器发送基本操作指令；使用mavlink_msg_command_long向无人系统控制器发送特定操作中的解锁或上锁指令；使用mavlink_msg_set_mode向无人系统控制器发送特定操作中的切换自稳模式、切换定点模式或切换返航模式指令。

全文数据：

权利要求：

百度查询： 中国电子科技集团公司第五十四研究所 一种无人系统手势控制方法