买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学

摘要：一种基于手指开关的人机交互系统，包括信号采集模块1、交互界面2、信号检测单元3、主控制单元4、控制模块5；该信号采集模块1的输出端口与信号检测单元3的输入端口相连；该信号检测单元3的输出端口与所述主控制单元4的输入端口相连；所述主控单元4的控制端口与所述控制模块5的输入端口相连；所述主控单元4的交互端口与所述交互界面2相连；所述控制模块5用于驱动执行模块工作。采用手指开关信号采集模块，被试者长时间面对虚拟按键闪烁界面进行实验时，不会感到疲乏，进而不会影响手指开关信号识别的准确率。

主权项：1.一种基于手指开关的人机交互方法，其特征在于：采用以下步骤，S1：信号采集模块采集手指开闭状态，将手指的开闭状态发送到信号检测单元；S2：设虚拟按键初始闪烁时间为t0，信号开始时间ti，设置信号采样时间段为s，当虚拟按键开始闪烁时，信号采集模块提取ti+s的时间段作为特征值a；S3：设置有幅度阀值Ath，持续时间阀值[T1,T2]，反应时间阀值Di；信号检测单元提取特征值a中的信号最大值amax、持续时间ac以及手指开关信号的反应时间即相对于虚拟按键的时延|t0-ti|；信号检测单元将信号最大值amax和幅度阀值Ath进行比较，持续时间ac和持续时间阀值[T1,T2]进行比较，手指开关信号的反应时间即相对于虚拟按键的时延|t0-ti|与反应时间阀值Di进行比较；如果信号最大值amax大于等于幅度阀值Ath，持续时间ac大于等于持续时间阀值[T1,T2]，以及|t0-ti|小于等于Di，则判断为检测到手指开关动作，否则，回到步骤S2；S4：交互界面2切换到预处理窗口，预处理窗口的虚拟按键闪烁N次，手指开关动作N次，虚拟按键闪烁时间间隔为t1，读取N次手指开关信号的反应时间即相对于虚拟按键的时延，计算得到被试者手指开关信号的平均反应时间Tp；通过该平均反应时间Tp，调整后续虚拟按键闪烁的频率；S5：交互界面2切换到菜单选择窗口，在该菜单选择窗口用于选择进入到字符拼写界面窗口或者护理床家电控制窗口；如果选择切换到字符拼写界面窗口，则进入步骤S6，否则，进入步骤S7；S6：交互界面2切换到字符拼写界面窗口，该字符拼写界面窗口包括26个虚拟选择按键，该字符拼写界面窗口分别按照行与列进行闪烁，通过行与列确定选择的虚拟选择按键，进入S8；S7：交互界面2切换到护理床家电控制窗口，该护理床家电控制窗口包括21个虚拟选择按键，该护理床家电控制窗口先按照自上而下，一行虚拟按键闪烁，然后自左向右一列虚拟按键闪烁，通过S2、S3确定行与列虚拟按键，通过行与列交叉点确定选择的虚拟选择按键，进入S8；S8：主控制单元4通知控制模块5驱动执行模块工作。

全文数据：一种基于手指开关的人机交互系统及其交互方法技术领域本发明涉及人机交互领域，具体涉及一种基于手指开关的人机交互系统及其工作方法。背景技术近年来，我国人口老龄化的问题日益凸显，医疗行业得到了快速的发展，如何通过人机交互的方式来实现医院病人的日常活动成为了近来的热点之一。本文针对瘫痪、残疾等行动不便的病人，提出了一种基于开关手指的人机交互系统。经测试，病人可以进行字符拼写、以及对护理床、电视、空调进行选择控制。传统的人机交互控制系统是面向正常人的，结合语音识别、手势识别等人机接口技术，其应用已经非常成熟了。然而对于医院中那些基本运动功能丧失的病人，传统的人机交互控制系统并不适用。随着智慧医疗行业的发展，根据病人的需要，延伸出了利用多种方式来实现家电控制、字符拼写等。其中一种新的人机交互的方式是利用人体生物电的方式，人体生物电主要包括脑电EEG，Electronecephalogram、心电ECG，Electrocardiogram、肌电ECM，Electromyography、眼电EOG,Electrooculography等。其中脑电的电信号十分微弱，容易受噪声干扰，需要复杂的前端采集设备来进行采集，采集设备成本高昂，不具有实用性。眼电需要被试者不断地眨眼，时间一长，给被试者带来了巨大的体力消耗，人眼容易疲乏，可能产生不自主的眨眼或者眨眼的反应时间发生变化，最终降低识别的准确率。例如公开号为CN106708273A的中国发明专利，于2017年2月21日申请的一种基于EOG的开关装置及开关键实现方法，该方法所述ONOFF键之间闪亮的间隔为600ms，且为一次检测，人眼需要不断地眨眼且不能出错，这给人的眼睛带来了很大的负担。肌电需要被试者具有运动能力、肌肉组织正常，心电难以受被试者的控制。手指也可以被用来设计用于人机交互的一种信号接口。相对于人来说，手指执行开关闭合动作比较简单，易于控制，不会产生疲乏感，。氯化银，由于阻抗小，导电性能好，常用来采集人体的生物电。基于此，使用两个手指和氯化银干电极布组合就可以产生稳定的开关信号。基于以上问题，我们提出了一种基于开关手指的人机交互系统，被试者病人通过人机交互的方式，可以有效地实现字符拼写、护理床以及家电的控制，具有重要的实用价值。发明内容本发明针对现有技术的不足，目的在于提供一种更加简便、实用的基于开关手指的人机交互系统及其交互方法。具体为，提出一种基于手指开关的人机交互系统，具体技术方案如下：一种基于手指开关的人机交互系统，其特征在于：包括信号采集模块1、交互界面2、信号检测单元3、主控制单元4、控制模块5；该信号采集模块1的输出端口与信号检测单元3的输入端口相连；该信号检测单元3的输出端口与所述主控制单元4的输入端口相连；所述主控单元4的控制端口与所述控制模块5的输入端口相连；所述主控单元4的交互端口与所述交互界面2相连；所述控制模块5用于驱动执行模块工作。进一步地：所述信号采集模块包括电极模块和蓝牙通信模块，该电极模块包括至少两个电极，该蓝牙通信模块与所述信号检测单元通过无线连接。一种基于手指开关的人机交互方法，具体技术方案为：一种基于手指开关的人机交互方法，其特征在于：采用以下步骤，S1：信号采集模块采集手指开闭状态，将手指的开闭状态发送到信号检测单元；S2：设虚拟按键初始闪烁时间为t0，信号开始时间ti，设置信号采样时间段为s，当虚拟按键开始闪烁时，信号采集模块提取ti+s的时间段作为特征值a；S3：设置有幅度阀值Ath，持续时间阀值[T1,T2]，反应时间阀值Di；信号检测模块提取特征值a中的信号最大值amax、持续时间ac以及手指开关信号的反应时间即相对于虚拟按键的时延|t0-ti|；信号检测单元将信号最大值amax和幅度阀值Ath进行比较，持续时间ac和持续时间阀值[T1,T2]进行比较，手指信号的相对于每个按键的反应时间即时延|t0-ti|；如果信号最大值amax大于等于幅度阀值Ath，持续时间ac大于等于持续时间阀值[T1,T2]，以及|t0-ti|小于等于Di，则判断为检测到手指开关动作，否则，回到步骤2；S4：交互界面2切换到预处理窗口，预处理窗口的虚拟按键闪烁N次，手指开关动作N次，虚拟按键闪烁时间间隔为t1，读取N次手指开关动作的反应时间，即相对于虚拟按键闪烁后的时延，计算得到被试者手指开关动作的平均反应时间Tp；通过该平均持续时间Tp，调整后续虚拟按键闪烁的频率；S5：交互界面2切换到菜单选择窗口，在该菜单选择窗口用于选择进入到字符拼写界面窗口或者护理床家电控制窗口；如果选择切换到字符拼写界面窗口，则进入步骤S6，否则，进入步骤S7；S6：交互界面2切换到字符拼写界面窗口，该字符拼写界面窗口包括26个虚拟选择按键，该字符拼写界面窗口分别按照行与列进行闪烁，通过行与列确定选择的虚拟选择按键，进入S8；S7：交互界面2切换到护理床家电控制窗口，该护理床家电控制窗口包括21个虚拟选择按键，该护理床家电控制窗口先按照自上而下，一行虚拟按键闪烁，然后自左向右一列虚拟按键闪烁，通过S2、S3确定行与列虚拟按键，通过行与列交叉点确定选择的虚拟选择按键，进入S8；S8：所述主控制单元4通知所述控制模块5驱动执行模块工作。本发明的有益效果为：第一，采用手指开关信号采集模块，手指开关信号是通过包裹在人的食指与中指的干电极布的闭合松开产生的，电极布采用氯化银材料，信号灵敏稳定，相对于来说，包裹在手指上简便、舒适，而且成本很低。被试者长时间面对虚拟按键闪烁界面进行实验时，不会感到疲乏，进而不会影响手指开关信号识别的准确率。第二，根据预处理界面中被试者的十次手指开关反应的平均时间相对于虚拟按键闪烁，来动态的调整后面虚拟按键闪烁的频率，让不同被试者更好适应按键闪烁的选择时机。第三，为了避免被试者手指的误触发以及相邻虚拟闪烁按键之间的干扰，我们采用防抖措施，当闪烁界面某个按键闪烁时，我们手动选择，当信息处理模块检测到的“开”信号持续时间达到预期的阀值时，才会输出选择命令，这样就可以防止抖动，降低了误报率，同时，当手指开关信号相关参数满足阀值时，输出相应的命令，这样就能避免相邻闪烁按键之间的干扰。同时，单个虚拟按键闪烁后，通过信号检测单元3以及主控制单元，直接输出被试者的选择命令，无需通过每一轮即每个按键都要闪烁按键闪烁后再进行命令输出，这样极大提高了速度。附图说明图1为本发明的结构框图；图2为本发明的工作流程图。具体实施方式下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。如图1和图2所示：一种基于手指开关的人机交互系统，包括信号采集模块1、交互界面2、信号检测单元3、主控制单元4、控制模块5；该信号采集模块1是通过包裹在人的食指与中指的干电极布的闭合松开产生的，电极布采用氯化银材料，信号灵敏稳定，相对于来说，包裹在手指上简便、舒适，而且成本很低。被试者长时间面对虚拟按键闪烁界面进行实验时，不会感到疲乏，进而不会影响手指开关信号识别的准确率。该信号采集模块1的输出端口与信号检测单元3的输入端口相连；该信号检测单元3的输出端口与所述主控制单元4的输入端口相连；所述主控单元4的控制端口与所述控制模块5的输入端口相连；所述主控单元4的交互端口与所述交互界面2相连；所述控制模块5用于驱动执行模块工作。所述信号采集模块包括电极模块和蓝牙通信模块，该电极模块包括至少两个电极，该蓝牙通信模块与所述信号检测单元通过无线连接。一种基于手指开关的人机交互方法，其特征在于：采用以下步骤，S1：信号采集模块采集手指开闭状态，将手指的开闭状态发送到信号检测单元，手指开关信号采集模块放置靠近被试者的地方，其包括电极模块、蓝牙通信模块。电极模块由两块氯化银电极布组成，电极1与电极2分别包裹在食指与中指上，当被试者看到对应虚拟按键闪烁时，中指与食指自然的开关，对应闭合和松开状态，产生开关信号，当中指与食指闭合时，代表“开”，信号数据为高幅值，当食指与中指松开后，代表“关”，信号数据为低幅值，通过蓝牙通信模块将采集的信号发送到手指开关信号检测单元；S2：设虚拟按键初始闪烁时间为t0，信号开始时间ti，设置信号采样时间段为s，当虚拟按键开始闪烁时，信号采集模块提取t0+s的时间段作为特征值a，在本实施例中该特征值对应于单个虚拟按键闪烁后100ms-800ms的手指信号数据，同时，手指“开”信号发生的开始时间ti为250ms-320ms，这个时间会稳定在一个范围内。人的手指开关一下，“开”信号的持续时间一般为300ms；S3：设置有幅度阀值Ath和持续时间阀值[T1,T2]，信号检测模块提取特征值a中的信号最大值amax和持续时间ac，此处设定为T1＝200、T2＝500ms进行阀值检测，可以避免因为被试者手指抖动而引起的误操作；信号检测单元将信号最大值amax和幅度阀值Ath进行比较，持续时间ac和持续时间阀值[T1,T2]进行比较；如果信号最大值amax大于等于幅度阀值Ath，同时持续时间ac大于等于持续时间阀值[T1,T2]，则判断为检测到手指开关动作，否则，回到S2；信号检测单元用作检测手指开关信号是否有效，分为三个条件检测，主控制单元用作发布按键选择相应的命令以及切换闪烁界面。S4：交互界面2切换到预处理窗口，预处理窗口的虚拟按键闪烁N次，闪烁时间间隔为t1，读取N次虚拟按键闪烁对应的持续时间ta，计算得到N次虚拟按键闪烁对应的平均持续时间tN；通过该平均持续时间tN，调整后续虚拟按键闪烁的频率；预处理窗口，是用来检测每个被试者手指开关动作的平均反应时间，该平均反应时间为相对于虚拟按键闪烁后的手指开关信号开始时间，由于被试者多是病人，反应时间差别较大，因此，动态调整虚拟按键闪烁频率。S5：交互界面2切换到菜单选择窗口，在该菜单选择窗口用于选择进入到字符拼写界面窗口或者护理床家电控制窗口；如果选择切换到字符拼写界面窗口，则进入步骤S6，否则，进入步骤S7；S6：交互界面2切换到字符拼写界面窗口，该字符拼写界面窗口包括26个虚拟选择按键，该字符拼写界面窗口分别按照行与列进行闪烁，通过行与列确定选择的虚拟选择按键，进入S8；S7：交互界面2切换到护理床家电控制窗口，该护理床家电控制窗口包括21个虚拟选择按键，该21个虚拟选择按键分别代表着护理床的左翻、右翻、左翻平、右翻平、曲腿、腿平、便盆开、便盆关以及复位命令、电视频道加减、音道加减以及开关命令空调模式冬夏、开关以及温度加减命令。该护理床家电控制窗口分别按照行与列进行闪烁，通过行与列确定选择的虚拟选择按键，进入S8；S8：所述主控制单元4通知所述控制模块5驱动执行模块工作。

权利要求：1.一种基于手指开关的人机交互系统，其特征在于：包括信号采集模块1、交互界面2、信号检测单元3、主控制单元4、控制模块5；该信号采集模块1的输出端口与信号检测单元3的输入端口相连；该信号检测单元3的输出端口与所述主控制单元4的输入端口相连；所述主控单元4的控制端口与所述控制模块5的输入端口相连；所述主控单元4的交互端口与所述交互界面2相连；所述控制模块5用于驱动执行模块工作。2.根据权利要求1所述一种基于手指开关的人机交互系统，其特征在于：所述信号采集模块包括电极模块和蓝牙通信模块，该电极模块包括至少两个电极，该蓝牙通信模块与所述信号检测单元通过无线连接。3.一种基于手指开关的人机交互方法，其特征在于：采用以下步骤，S1：信号采集模块采集手指开闭状态，将手指的开闭状态发送到信号检测单元；S2：设虚拟按键初始闪烁时间为t0，信号开始时间ti，设置信号采样时间段为s，当虚拟按键开始闪烁时，信号采集模块提取ti+s的时间段作为特征值a；S3：设置有幅度阀值Ath，持续时间阀值[T1,T2]，反应时间阀值Di；信号检测模块提取特征值a中的信号最大值amax、持续时间ac以及手指开关信号的反应时间即相对于虚拟按键的时延|t0-ti|；信号检测单元将信号最大值amax和幅度阀值Ath进行比较，持续时间ac和持续时间阀值[T1,T2]进行比较，手指信号的相对于每个按键的反应时间即时延|t0-ti|；如果信号最大值amax大于等于幅度阀值Ath，持续时间ac大于等于持续时间阀值[T1,T2]，以及|t0-ti|小于等于Di，则判断为检测到手指开关动作，否则，回到步骤2；S4：交互界面2切换到预处理窗口，预处理窗口的虚拟按键闪烁N次，手指开关动作N次，虚拟按键闪烁时间间隔为t1，读取N次手指开关动作的反应时间，即相对于虚拟按键闪烁后的时延，计算得到被试者手指开关动作的平均反应时间Tp；通过该平均持续时间Tp，调整后续虚拟按键闪烁的频率；S5：交互界面2切换到菜单选择窗口，在该菜单选择窗口用于选择进入到字符拼写界面窗口或者护理床家电控制窗口；如果选择切换到字符拼写界面窗口，则进入步骤S6，否则，进入步骤S7；S6：交互界面2切换到字符拼写界面窗口，该字符拼写界面窗口包括26个虚拟选择按键，该字符拼写界面窗口分别按照行与列进行闪烁，通过行与列确定选择的虚拟选择按键，进入S8；S7：交互界面2切换到护理床家电控制窗口，该护理床家电控制窗口包括21个虚拟选择按键，该护理床家电控制窗口先按照自上而下，一行虚拟按键闪烁，然后自左向右一列虚拟按键闪烁，通过S2、S3确定行与列虚拟按键，通过行与列交叉点确定选择的虚拟选择按键，进入S8；S8：所述主控制单元4通知所述控制模块5驱动执行模块工作。4.根据权利要求3所述一种基于手指开关的人机交互方法，其特征在于：在S4中，相邻按键闪烁的时间：其中Wt为可调整权值，通过将Wt设定为1,Tp为N次手指开关反应的平均持续时间tN，pi为相邻的每行或每列虚拟按键闪烁时间，pi大于被试平均者反应时间Tp，根据每个被试者手指开关动作的平均反应时间Tp，来动态的调整后面虚拟按键闪烁的频率，提高虚拟按键闪烁后被选中的可能性。5.根据权利要求4所述一种基于手指开关的人机交互方法，其特征在于：所述S6包括如下步骤：S61：在字符拼写界面窗口中每个虚拟按键均闪烁过后，主控制单元对每个虚拟按键闪烁后对应的手指信号进行检测；S62：得到在预处理窗口期间，计算得到的手指开关信号发生时间相对于虚拟按键的平均时延Tp，当满足条件：|ti-Tp|≤Di则代表相应的虚拟按键被选中；同时，通过信号检测单元3以及控制模块5用于驱动执行模块工作。6.根据权利要求5所述一种基于手指开关的人机交互方法，其特征在于：所述S61包括如下步骤：S611：在字符拼写界面窗口中，字符先经过第一轮的行闪烁，信号检测单元3判断是否检测到手指开关信号，如果是，则进入下一步骤，否则，继续进行检测；S612：信号检测单元3确定被选择的字母行，对该字母按键依次进行列闪烁；信号检测单元3判断是否检测到手指开关信号，如果没有，则回到上一步骤，否则，进入到一步骤；S613：通过前面的行字母检测与当前检测的列字母检测，共同确定了输出的字母按键，主控制单元4打印相应的字母。

百度查询： 华南理工大学 一种基于手指开关的人机交互系统及其交互方法