买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广州趣丸网络科技有限公司

摘要：本申请提供的客制化卡通人物建模方法、装置、存储介质及计算机设备，首先基于客制化的人物视频生成人物LoRA模型，以学习人物形象特征；接着将提前嵌入用来提取人物纹理特征的法线LoRA模型和用来生成人物卡通风格特征的卡通风格LoRA模型的初始图像渲染模型中嵌入人物LoRA模型，生成目标图像渲染模型。因此，本申请在根据人物视频构建三维人物模型，并渲染得到三维人物模型的渲染人物图像后，利用目标图像渲染模型将渲染人物图像转化为隐藏了形象特征、表面纹理特征和卡通风格特征的融合特征值，进而基于该融合特征值对三维人物模型进行参数优化后生成卡通人物建模结果，实现客制化卡通人物建模在降低制作成本的同时提高生产效率。

主权项：1.一种客制化卡通人物建模方法，其特征在于，所述方法包括：当接收到用户输入的包含目标人物的人物视频时，根据所述人物视频生成所述目标人物的人物图像，并基于所述人物图像生成人物LoRA模型；确定初始图像渲染模型，并将所述人物LoRA模型嵌入所述初始图像渲染模型中，形成目标图像渲染模型；其中，所述初始图像渲染模型是在预设图像渲染模型中嵌入用于提取人物表面纹理特征的法线LoRA模型和用于生成人物卡通风格特征的卡通风格LoRA模型后得到的；根据所述人物视频构建所述目标人物的三维人物模型，并基于所述三维人物模型渲染得到所述目标人物的渲染人物图像；将所述渲染人物图像输入所述目标图像渲染模型中，得到所述目标图像渲染模型输出的融合特征值，并基于所述融合特征值对所述三维人物模型进行参数优化，生成所述目标人物的卡通人物建模结果；其中，所述基于所述人物图像生成人物LoRA模型，包括：构建初始LoRA模型，并将所述初始LoRA模型嵌入预设扩散模型中，形成目标扩散模型；将所述人物图像输入至所述目标扩散模型中，得到所述目标扩散模型输出的预测值，并根据所述预测值确定所述目标扩散模型的损失梯度；判断所述损失梯度是否满足预设训练结束条件；若是，则提取所述目标扩散模型中的初始LoRA模型，作为人物LoRA模型；若否，则基于所述损失梯度更新所述初始LoRA模型的LoRA权重，并返回执行所述将所述人物图像输入至目标扩散模型中，得到所述目标扩散模型输出的预测值及其后续步骤；所述确定初始图像渲染模型，包括：构建初始LoRA模型，并将所述初始LoRA模型嵌入预设扩散模型中，形成目标扩散模型；基于所述目标扩散模型对所述初始LoRA模型进行权重调整，分别生成法线LoRA模型和卡通风格LoRA模型；获取预设图像渲染模型，并将所述法线LoRA模型和所述卡通风格LoRA模型嵌入所述预设图像渲染模型中，得到初始图像渲染模型；所述目标图像渲染模型包括了法线控制层、稀疏姿态控制层、稠密姿态控制层和特征融合层；所述将所述渲染人物图像输入所述目标图像渲染模型中，得到所述目标图像渲染模型输出的融合特征值，包括：将所述渲染人物图像分别输入所述法线控制层、所述稀疏姿态控制层和所述稠密姿态控制层中，得到所述法线控制层输出的几何特征、所述稀疏姿态控制层输出的骨骼特征和所述稠密姿态控制层输出的姿态特征；利用所述特征融合层对所述几何特征、所述骨骼特征和所述姿态特征进行特征融合，得到融合特征值。

全文数据：

权利要求：

百度查询： 广州趣丸网络科技有限公司 客制化卡通人物建模方法、装置、存储介质及计算机设备