买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湘潭大学

摘要：本发明涉及虚拟现实技术领域，具体公开了一种沉浸式纸影表演AR交互系统，包括纸影动画制作模块、搭建虚拟环境模块和用户交互设计模块，用户交互设计模块包括：手势识别模块、语音识别模块、命令解析模块、视频播放模块和纸影控制模块，本方案建立手势识别网络识别观众的手势状态，当识别到观众为握拳手势时进入语音唤醒，观众通过语音命令实现与虚拟纸影角色的互动，当识别到观众为戳刺手势时，播放纸影科普视频，大大提高了观众的参与感和互动性，为纸影戏的表演形式带来了创新。

主权项：1.一种沉浸式纸影表演AR交互系统，其特征在于：包括纸影动画制作模块、搭建虚拟环境模块、用户交互设计模块；所述纸影动画制作模块收集纸影图像素材，对收集的纸影图像素材进行处理，通过骨架动画技术制作纸影戏动画，将纸影戏动画发送至搭建虚拟环境模块；所述搭建虚拟环境模块利用AR开发平台构建虚拟环境，将纸影戏动画作为虚拟对象导入虚拟环境，将虚拟环境发送至用户交互设计模块；所述用户交互设计模块包括：手势识别模块、语音识别模块、命令解析模块、视频播放模块和纸影控制模块；所述手势识别模块建立手势识别网络识别用户的手势状态，当识别到用户的特定交互手势时，根据手势类型进入相应的处理流程，所述手势识别网络包括：卷积层、伪3D卷积层、通道注意力层、特征融合层和多尺度运动注意层，建立手势识别网络的步骤如下：步骤S31：将训练集输入卷积层，再经过伪3D卷积层，进而通过一个卷积层，得到伪3D卷积层的输出特征图，所述伪3D卷积层包括两个卷积层：一个卷积层和一个卷积层；步骤S32：将通道注意力机制集成到通道注意力层中，对伪3D卷积层的输出特征图的通道关系进行建模，获得特征的通道信息权重分布，得到通道注意力层的输出特征；步骤S33：通过特征融合层将伪3D卷积层的输出特征和通道注意力层的输出特征进行融合，得到最终的输出特征；步骤S34：引入多尺度运动注意机制，在多尺度运动注意层设计多尺度运动注意机制来构建显式运动特征，关注并提取整个手势运动过程中的时间特征信息；所述语音识别模块，识别到用户为预设的第一手势类型时，开发语音识别模型，识别用户的语音命令，将用户的语音命令发送至命令解析模块；所述命令解析模块将用户的语音命令解析为具体的操作指令，将具体的操作指令发送至纸影控制模块；所述纸影控制模块根据具体的操作指令，控制虚拟环境中的纸影进行表演；所述视频播放模块识别到用户为预设的第二手势类型时，播放纸影科普视频。

全文数据：

权利要求：

百度查询： 湘潭大学 一种沉浸式纸影表演AR交互系统