买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海宙途文化传媒有限公司

摘要：本申请涉及目标的智能化监测领域，其具体地公开了一种基于人机交互的智能化视频目标自动监测系统及方法，其首先采集待监测用户的监控视频，接着，分别通过基于目标检测网络的用户手部特征提取模块和基于无锚窗的目标检测网络从所述待监测用户的监控视频中获取用户手部感兴趣区域和用户眼部感兴趣区域，然后，通过作为用户手部特征提取器的深浅特征融合模块对所述用户手部感兴趣区域进行特征提取以及通过基于空间注意力机制的用户局部部位特征提取器对所述用户眼部感兴趣区域进行特征提取，最后融合二者的特征信息后通过分类器获得分类结果。这样，基于所述分类结果，待监测用户能够更好地体验VR游戏。

主权项：1.一种基于人机交互的智能化视频目标自动监测系统，其特征在于，包括：视频采集模块，用于采集待监测用户的监控视频；目标区域获取模块，用于分别基于所述待监测用户的监控视频中待检测用户的手部动作和眼部动作以得到用户手部感兴趣区域和用户眼部感兴趣区域；目标特征提取模块，用于分别获取所述用户手部感兴趣区域的特征信息和所述用户眼部感兴趣区域的特征信息以得到用户手部动作特征图和用户眼部视线特征图；用户动作确定模块，用于基于所述用户手部动作特征图和所述用户眼部视线特征图以得到分类结果；所述基于人机交互的智能化视频目标自动监测系统，还包括用于对基于目标检测网络的用户手部特征提取模块、作为用户手部特征提取器的深浅特征融合模块、基于无锚窗的目标检测网络、基于空间注意力机制的用户局部部位特征提取器以及分类器进行训练的训练模块；其中，所述训练模块，包括：训练数据采集单元，用于采集训练数据，其中，所述训练数据包括待监测用户的监控视频；关键帧采集单元，用于从所述待监测用户的监控视频中获取多个视频关键帧后将其排列为三维用户体验输入张量；用户手部区域训练单元，用于将所述三维用户体验输入张量通过基于目标检测网络的用户手部特征提取模块以得到训练用户手部感兴趣区域；用户手部特征训练单元，用于将所述训练用户手部感兴趣区域通过作为用户手部特征提取器的深浅特征融合模块以得到训练用户手部动作特征图；用户眼部区域训练单元，用于将所述三维用户体验输入张量通过基于无锚窗的目标检测网络以得到训练用户眼部感兴趣区域；用户眼部特征训练单元，用于将所述训练用户眼部感兴趣区域通过基于空间注意力机制的用户局部部位特征提取器以得到训练用户眼部视线特征图；用户训练特征融合单元，用于将所述训练用户手部动作特征图和所述训练用户眼部视线特征图进行融合以得到训练用户体验特征图；几何刚性一致化因数计算单元，用于计算所述训练用户手部动作特征图和所述训练用户眼部视线特征图之间的基于秩序性先验的几何刚性一致化因数；分类损失单元，用于将所述训练用户体验特征图通过分类器以得到分类损失函数值；训练单元，用于以所述分类损失函数值和所述基于秩序性先验的几何刚性一致化因数之间的加权和作为损失函数值，对所述基于目标检测网络的用户手部特征提取模块、所述作为用户手部特征提取器的深浅特征融合模块、所述基于无锚窗的目标检测网络、所述基于空间注意力机制的用户局部部位特征提取器以及所述分类器进行训练；所述几何刚性一致化因数计算单元，用于：以如下公式计算所述训练用户手部动作特征图和所述训练用户眼部视线特征图之间的参数化几何关系先验特征的刚性一致化因数；其中，所述公式为：

全文数据：

权利要求：

百度查询： 上海宙途文化传媒有限公司 基于人机交互的智能化视频目标自动监测系统及方法