买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳品阔信息技术有限公司

摘要：本申请涉及数字人物生成技术领域，特别是涉及到一种多模态输入的数字人物生成方法、装置、设备及存储介质，其中方法包括：获取多个模态的输入数据；对不同模态的输入数据分别进行特征提取，得到多模态特征信息；对所述多模态特征信息进行特征融合，得到多模态融合特征信息；根据所述多模态融合特征信息，使用条件变分自编码器和生成对抗网络生成初始数字人物；使用强化学习方法对所述初始数字人物进行优化，得到数字人物。本申请涉及的方法可以解决现有技术中多模态输入的数字人物生成方法生成的数字人物信息不够丰富，缺乏细节，生成效果不佳的技术问题。

主权项：1.一种多模态输入的数字人物生成方法，其特征在于，所述方法包括：获取多个模态的输入数据；对不同模态的输入数据分别进行特征提取，得到多模态特征信息；对所述多模态特征信息进行特征融合，得到多模态融合特征信息；根据所述多模态融合特征信息，使用条件变分自编码器和生成对抗网络生成初始数字人物；使用强化学习方法对所述初始数字人物进行优化，得到数字人物；所述对不同模态的输入数据分别进行特征提取，得到多模态特征信息的步骤，包括：使用BERT模型对文本模态的输入数据进行特征提取，得到文本特征信息；使用WaveNet架构对语音模态的输入数据进行特征提取，得到语音特征信息；使用ResNet和3D-CNN对视频图像模态的输入数据进行特征提取，得到视频图像特征信息；所述根据所述多模态融合特征信息，使用条件变分自编码器和生成对抗网络生成初始数字人物的步骤，包括：获取条件信息；使用条件变分自编码器提取所述多模态融合特征信息的特征，得到潜在向量；将所述条件信息与所述潜在向量进行融合，输入到所述生成对抗网络，生成初始数字人物；所述使用强化学习方法对所述初始数字人物进行优化，得到数字人物的步骤，包括：获取所述初始数字人物优化定义的环境和优化所述初始数字人物的代理；记录所述环境和所述代理的状态；根据所述状态，计算所述代理的行为对所述环境的影响，得到奖励信号；根据所述奖励信号对所述代理进行策略优化，得到数字人物；所述计算所述代理的行为对所述环境的影响，得到奖励信号的步骤，包括：获取预设的奖励函数；根据所述奖励函数计算所述代理的行为对所述环境的影响，得到奖励信号；所述根据所述奖励信号对所述代理进行策略优化，得到数字人物的步骤，包括：根据所述奖励信号，使用深度Q网络控制所述代理与所述环境进行交互和学习，逐步优化所述代理的策略，最终得到数字人物。

全文数据：

权利要求：

百度查询： 深圳品阔信息技术有限公司 多模态输入的数字人物生成方法、装置、设备及存储介质