买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳萌想文化传播有限公司

摘要：本发明涉及一种深度学习与三维动画交互式协作方法及系统，对生物群落与环境综合体进行仿真交互式调查实验，本发明包括数据采集端、管理员端和用户端，所述数据采集端是对输入的数据进行预处理，所述管理员端设置有前期任务及后期任务，所述前期任务涉及到的三维模型建模与优化，使用增强现实技术将仿真自然生态系统，并将其注册到现实中，所述后期任务是通过人机交互、人人交互收集的数据对其进行生态系统实验，所述用户端可利用机器视觉技术通过虚拟现实设备对三维模型进行定位与处理；本发明所采用的stablediffusion算法通过设计时空注意力层对该生态系统进行优化，使用户参与实验的场景更真实，并可以展示出改变生态因素后该生态系统时空变化的过程。

主权项：1.一种深度学习与三维动画交互式协作方法，其特征在于：S1.输入三维模型、二维图像和语音数据并通过素材库模块、三维模型优化模块以及语音提示模块的处理来建立初始生态系统模型；包括以下步骤：S11.首先建立素材库，将素材库的数据内容储存在素材库模块内部，所述建立素材库的步骤包括对输入的粗糙时序三维模型、输入的生态系统二维图像和输入的对应语音描述；S12.通过三维模型优化模块对已经进行建模的输入的粗糙时序三维模型进行处理，包括以下步骤：S121.使用三维建模软件、Microsoft3DTools及插件对素材库的三维模型进行仿真开发，由此得到的仿真三维模型经stablediffusion算法的优化构建出初始生态系统及时空演变的三维模型；S122.同时对经stablediffusion算法的优化构建出初始生态系统及时空演变的三维模型完成三维注册，使其与真实场景的匹配定位与融合；S13.当完成初始生态系统及三维模型的构建，建立的语音提示模块将对终端用户进行交互式引导，使其完成调查实验步骤；S2.通过语音提示模块、生物识别特征模块以及定位单元模块的处理来识别终端用户手势及语音；S3.通过数据采集分析模块对生成的三维模型、二维图像和语音数据进行采集、分析，再经三维模型优化模块进行数据融合，以上得到的数据由数据处理模块生成最终生态系统模型并对当前模型进行评价；包括以下步骤：S31.数据采集分析模块将以上步骤产生的数据进行收集并分析，即由识别终端用户手势及语音而产生的数据信息通过种群动力学相关模型进行处理分析；S32.通过使用stablediffusion算法的三维模型优化模块对以上步骤产生的数据进行融合及优化处理；S33.利用经过上述步骤处理的数据，通过创建的数据处理模块利用反馈数据来评估生态系统的影响，提取数据处理模块中的数据信息；在将其通过音频处理模块转换成音频形式进行播放的同时，与开发脚本集成的语音提示模块将根据终端用户的手势或语音触发相应的提示词，当终端用户继续对生态系统内的三维模型进行干涉，则重新启动三维模型优化模块进行修正；当终端用户停止对生态系统内的三维模型进行干涉，则可以根据语音提示模块的建议，结束实验互动；以上步骤中，还包括对“对三维模型、二维图像及语音数据”的处理，具体步骤为：SS1.构建stablediffusion训练数据集，该数据集包括：输入的粗糙时序三维模型、输入的生态系统二维图像、输入的对应语音描述以及输出的三维模型；SS2.搭建stablediffusion深度学习开源框架，并在该框架内设计基于时空注意力层的LDM网络模型，该时空注意力层对输入的粗糙时序三维模型、输入的生态系统二维图像及输入的对应语音描述之间的相关性进行建模；SS3.对于输入的粗糙三维生态系统和二维图像序列首先通过输入编码器得到隐空间的特征ZX；与此同时，通过条件编码器将对应的语音描述和手势映射到隐空间得到条件特征ZC；SS4.将输入特征ZX与条件特征ZC输入LDM网络模型中，采用提出的时空注意力层对二者特征进行融合，在进行T步去噪之后得到重建后的特征Zf；SS5.将重建后的特征Zf输入到解码器中，得到预测时序三维模型y；SS6.计算预测时序三维模型y与真实时序三维模型y_gt之间的loss，通过loss进行反向传播对LDM网络模型的参数进行更新；SS7.经以上步骤训练后的LDM网络模型进行网络结构剪枝与量化；SS8.根据量化后的网络模型搭建推理框架并用于三维动画交互式协作。

全文数据：

权利要求：

百度查询： 深圳萌想文化传播有限公司 深度学习与三维动画交互式协作方法及系统