买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明涉及虚拟现实技术领域，具体公开了一种沉浸式纸影表演AR交互系统，包括纸影动画制作模块、搭建虚拟环境模块和用户交互设计模块，用户交互设计模块包括：手势识别模块、语音识别模块、命令解析模块、视频播放模块和纸影控制模块，本方案建立手势识别网络识别观众的手势状态，当识别到观众为握拳手势时进入语音唤醒，观众通过语音命令实现与虚拟纸影角色的互动，当识别到观众为戳刺手势时，播放纸影科普视频，大大提高了观众的参与感和互动性，为纸影戏的表演形式带来了创新。

主权项：1.一种沉浸式纸影表演AR交互系统，其特征在于：包括纸影动画制作模块、搭建虚拟环境模块、用户交互设计模块；所述纸影动画制作模块收集纸影图像素材，对收集的纸影图像素材进行处理，通过骨架动画技术制作纸影戏动画，将纸影戏动画发送至搭建虚拟环境模块；所述搭建虚拟环境模块利用AR开发平台构建虚拟环境，将纸影戏动画作为虚拟对象导入虚拟环境，将虚拟环境发送至用户交互设计模块；所述用户交互设计模块包括：手势识别模块、语音识别模块、命令解析模块、视频播放模块和纸影控制模块；所述手势识别模块建立手势识别网络识别用户的手势状态，当识别到用户的特定交互手势时，根据手势类型进入相应的处理流程；所述手势识别模块建立手势识别网络识别用户的手势状态，包括以下步骤：步骤S1：数据收集与预处理，收集手势视频数据，对手势视频数据进行预处理，得到预处理后的视频数据；步骤S2：数据标注，对预处理后的视频数据中的视频帧进行标注，明确指出每一帧中的手势类别，并划分为训练集和测试集；步骤S3：建立手势识别网络，手势识别网络包括：卷积层、伪3D卷积层、通道注意力层、特征融合层和多尺度运动注意层，构建手势识别网络的步骤如下：步骤S31：将训练集输入1×1×1卷积层，再经过伪3D卷积层，进而通过一个1×1×1卷积层，得到伪3D卷积层的输出特征图，所述伪3D卷积层包括两个卷积层：一个1×1×3卷积层和一个3×3×1卷积层；步骤S32：将通道注意力机制集成到通道注意力层中，对伪3D卷积层的输出特征图的通道关系进行建模，获得特征的通道信息权重分布，得到通道注意力层的输出特征,步骤如下：步骤S321：获取空间信息，对伪3D卷积层的输出特征图进行空间平均池化，得到空间信息V；步骤S322：压缩通道数量，使用1×1卷积核对空间信息进行卷积，将通道数量压缩到原来的116，得到压缩后的特征图，所用公式如下：Vr＝N1*V；式中，Vr表示压缩后的特征图，N1表示1×1卷积核；步骤S323：进行时间推理，将压缩后的特征图重建为与伪3D卷积层的输出特征图具有相同时间维度的特征图，得到重建后的特征图，通过1×1卷积核处理重建后的特征图，得到时间推理后的特征图，所用公式如下： 式中，表示时间推理后的特征图，表示重建后的特征图，N2表示1×1卷积核；步骤S324：获取通道激励矩阵，使用1×1卷积核和激活函数处理时间推理后的特征图，获得通道激励矩阵，所用公式如下： C＝σV0；式中，V0表示使用1×1卷积核处理时间推理后的特征图得到的特征图，N3表示1×1卷积核，C表示通道激励矩阵，σ表示Sigmoid激活函数；步骤S325：计算通道注意力层的输出特征，所用公式如下：out＝V+V0⊙V；式中，out表示通道注意力层的输出特征，⊙表示特征融合操作；步骤S33：通过特征融合层将伪3D卷积层的输出特征和通道注意力层的输出特征进行融合，得到最终的输出特征；步骤S34：引入多尺度运动注意机制，在多尺度运动注意层设计多尺度运动注意机制来构建显式运动特征，关注并提取整个手势运动过程中的时间特征信息，步骤如下：步骤S341：特征降维，最终的输出特征经过1×1二维卷积进行降维，得到Dt、Dt+1、Dt+2，其中Dt、Dt+1、Dt+2表示最终的输出特征在时间步t、t+1和t+2上的特征图；步骤S342：计算最终的输出特征图相邻两帧之间的差异，得到差异图，计算过程如下：dt＝Conv3×3Xt+1-Xt；式中，Xt表示时间步t的输入特征图，Xt+1表示时间步t+1的输入特征图，Conv3×3表示3×3卷积操作，dt表示差异图；步骤S343：处理差异图，根据时间维度堆叠t-1个差异图，为了处理相邻两帧特征图之间的位置偏移问题，使用3×3空间卷积来融合相邻两帧特征图的位置信息，再拼接到时间维度，由于t帧的视频数据只能生成t-1帧差异图，将第t帧补零以获得完整的差异图；步骤S344：多尺度池化，将完整的差异图输入到多尺度池化层，通过不同尺度的池化核进行下采样操作以获得多尺度池化差异图，通过Softmax激活函数生成运动注意力权重系数；步骤S345：获得多尺度运动注意层的输出，将注意力权重系数与最终的输出特征逐元素相乘，得到多尺度运动注意层的输出特征；步骤S4：模型训练与评估，利用多尺度运动注意层的输出特征训练手势识别网络，得到训练后的手势识别网络，利用测试集评估训练后的手势识别网络的性能，输出手势动作类别的概率得分，并选择最高的概率得分作为预测结果；所述语音识别模块，识别到用户为预设的第一手势类型时，开发语音识别模型，识别用户的语音命令，将用户的语音命令发送至命令解析模块；所述命令解析模块将用户的语音命令解析为具体的操作指令，将具体的操作指令发送至纸影控制模块；所述纸影控制模块根据具体的操作指令，控制虚拟环境中的纸影进行表演；所述视频播放模块识别到用户为预设的第二手势类型时，播放纸影科普视频。

全文数据：

权利要求：

百度查询： 湘潭大学 一种沉浸式纸影表演AR交互系统