买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京理工大学

摘要：本发明提出一种指尖力检测及手势识别的智能交互系统及智能指环，包括信息获取模块、信息处理模块和图像渲染与显示模块，可以在AR、VR和智能家居控制等领域提供便捷的人机交互方式，使用特别设计的智能指环实现自然、简洁的手势交互，提高了用户人机交互时的体验感。本发明利用根据指腹受压时，指甲盖下颜色分布变化这一特征，识别指尖手势和接触力，同时指尖的肌肉形状及颜色变化也作为一个识别特征进行联合检测。手势类别明确切实，交互自然。本发明使用预处理程序和深度神经网络提取特征并识别了手势类别和接触力，提出了完整的交互系统，利用无线通讯实现了系统分离，并提出了多种应用场景，提升了系统的应用前景与可行性。

主权项：1.一种用于指尖力检测及手势识别的智能交互系统，其特征在于，包括：信息获取模块，其中的智能指环佩戴于手指指尖处，用于获取指尖部位的图像数据并进行预处理，将预处理后的图像数据传输到信息处理模块中；信息处理模块，其中的图像预处理深度网络模型接收预处理后的图像数据，检测出手势类别和接触三轴力，并将手势类别和接触三轴力值传输到图像渲染与显示模块中；图像渲染与显示模块，其中的图形渲染器接收手势类别和接触三轴力值，控制虚拟环境中的虚拟物体并操作UI界面，显示在图像显示器上；所述图像预处理深度网络模型接收预处理后的图像数据，检测出手势类别和接触三轴力，具体步骤为：图像预处理深度网络模型使用深度卷积残差网络进行图像特征提取，在深度卷积残差网络中的最后一个残差块内嵌入注意力块，最后一个残差块连接一个多层感知器MLP，所述多层感知器MLP进行图像特征解码，解码得到的图像特征连接不同的输出层，输出层将所述图像特征进行分类输出；所述图像预处理深度网络模型包括训练好的类别神经网络和三轴力神经网络，具体训练方法为：类别神经网络，具体训练方法为：按照10种手势类别作为标签，将图像样本输入到神经网络中，神经网络输出手势类别，并根据反向传播算法调整所述神经网络的权重，得到训练好的类别神经网络；三轴力神经网络，具体训练方法为：在交互平面下设置六轴力传感器，在摄像头采集图像样本的同时，所述六轴力传感器采集接触三轴力的实际值，将所述实际值作为标签与图像样本对应，将所述图像样本输入神经网络，所述神经网络输出接触三轴力的检测值；计算接触三轴力的实际值和检测值的差值并将差值输入到神经网络中重新学习，最终得到训练好的三轴力神经网络；将图像样本输入到训练好的图像预处理深度网络模型，最终输出的是接触三轴力的检测值。

全文数据：

权利要求：

百度查询： 北京理工大学 一种指尖力检测及手势识别的智能交互系统及智能指环