买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：交互未来(北京)科技有限公司

摘要：本申请公开了一种大屏幕窗口控制方法、装置、存储介质和设备，获取预置在大屏幕上的摄像设备所采集到的图像帧。对人体手部进行手势识别，得到手部关键点的平面坐标。将手部关键点的平面坐标作为图像帧的特征变量，输入至分类模型中，得到分类模型输出的分类结果。将概率最大的手势类型作为图像帧的手势类型。在检测到手部关键点与大屏幕之间的距离小于第一预设阈值，且图像帧的手势类型为预设双指手势的情况下，控制操作系统生成颜色为透明的蒙层。解析触发操作，得到触摸信息。基于触摸信息，确定用户与窗口的交互事件。控制操作系统对窗口进行与交互事件对应的控制操作。可见，利用本申请所述方案，能够有效提高大屏幕窗口人机交互的便捷性。

主权项：1.一种大屏幕窗口控制方法，其特征在于，包括：获取预置在大屏幕上的摄像设备所采集到的图像帧；所述图像帧用于指示人体手部；对所述人体手部进行手势识别，得到手部关键点的平面坐标；将所述手部关键点的平面坐标作为所述图像帧的特征变量，输入至分类模型中，得到所述分类模型输出的分类结果；所述分类模型基于将样本图像帧的特征变量作为输入，并将预先标注的所述样本图像帧的手势类型作为训练目标，训练得到；所述分类结果包括各个手势类型的概率；将所述概率最大的手势类型作为所述图像帧的手势类型；在检测到所述手部关键点与所述大屏幕之间的距离小于第一预设阈值，且所述图像帧的手势类型为预设双指手势的情况下，控制操作系统生成颜色为透明的蒙层；所述蒙层用于捕获用户对所述大屏幕的触发操作；解析所述触发操作，得到触摸信息；基于所述触摸信息，确定所述用户与窗口的交互事件；控制所述操作系统对所述窗口进行与所述交互事件对应的控制操作；其中，所述在检测到所述手部关键点与所述大屏幕之间的距离小于第一预设阈值，且所述图像帧的手势类型为预设双指手势的情况下，控制操作系统生成颜色为透明的蒙层，包括：计算所述图像帧中每个所述手部关键点与预设矩形之间的距离，得到各个第一数值；所述预设矩形为所述大屏幕在所述图像帧中的成像区域；将取值最小的所述第一数值作为目标数值；在所述目标数值小于第一预设阈值，且所述图像帧的手势类型为预设双指手势的情况下，控制所述操作系统生成颜色为透明、且全局置顶的蒙层。

全文数据：

权利要求：

百度查询： 交互未来(北京)科技有限公司 一种大屏幕窗口控制方法、装置、存储介质和设备