买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东浪潮超高清智能科技有限公司

摘要：本发明涉及人工智能领域，具体是一种数字人稳定头部姿势生成的方法、装置及介质。本发明采用四阶段由粗到细的3DMM重建方法实现了稳定的数字人头部同步。通过稠密的面部和头部关键点检测获得稠密的监督信号，并关注对头部姿势更具影响力的关键点，去除干扰点，以支撑数字人3DMM和头部联合姿态的高精度计算；通过平滑方法平滑视频中每帧内人脸和头部关键点在长时序上存在的信号抖动，更加契合真人头部运动的自然度和连续性；通过深度估计获得2D空间关键点在3D空间内的对应坐标，使用在2D和3D空间中同时具有坐标值标记的关键点进行3D监督，以克服仅在2D空间内使用投影关键点和跟踪关键点进行监督带来的弱监督性。

主权项：1.一种数字人稳定头部姿势生成的方法，其特征在于：本方法包括：S01）、采集原始训练视频；S02）、对原始训练视频进行预处理，获得音频文件、人体上半部分视频文件和人体上半部分图像帧；S03）、获得3D人脸模型，并获取3D人脸模型上与2D正直人脸关键点存在透视投影关系的3D空间关键点；S04）、检测人体上半部分图像帧上的K个稀疏人脸关键点，并对K个稀疏人脸关键点进行平滑处理，取后M个关键点的坐标值作为2D空间监督坐标标记，M等于步骤S03）获取的3D空间关键点的个数，并且K大于M；S05）、对人体上半部分视频文件进行光流跟踪，获得面部运动光流，选择光流变化显著的N个关键点，并跟踪N个关键点在流动序列中的运动轨迹，作为稠密2D空间监督坐标标记；S06）、获取最佳焦距，设置训练帧、每一训练帧对应的2D空间监督坐标标记作为训练数据；设置候选焦距的区间和步长；设置优化参数为粗糙3DMM的形状系数和表情系数、头部旋转的欧拉角和平移向量；设置输出值为使用和对3D空间关键点进行旋转和平移，并透视投影到2D空间中获得的投影点坐标；设置损失函数 ；S07）、获得细致的3DMM的形状系数和表情系数、3D空间中头部旋转的欧拉角和平移向量，设置训练帧、每一训练帧对应的2D空间监督坐标标记作为训练数据；设置优化参数为细致3DMM的形状系数和表情系数、头部旋转的欧拉角和平移向量；设置输出值为使用和对3D空间关键点进行旋转和平移并透视投影到2D空间中，获得的投影点坐标；设置损失函数；其中为步骤S06）得到的最佳焦距；S08）、获得稠密2D空间监督坐标标记在3D正直人脸模型上对应的粗糙3D空间关键点，设置训练帧、每一训练帧对应的稠密2D空间监督坐标标记作为训练数据；设置优化参数为粗糙3D空间关键点；设置输出值为使用欧拉角和平移向量对待获取的粗糙3D空间关键点进行旋转和平移并透视投影到2D空间中，获得的投影点坐标；设置2D空间损失函数其中为步骤S06）得到的最佳焦距；S09）、获得稠密2D空间监督坐标标记在3D正直人脸模型上对应的精细3D空间关键点、3D空间中头部旋转的欧拉角、3D空间中头部旋转的平移向量，设置训练帧、每一训练帧对应的稠密2D空间监督坐标标记作为训练数据；设置第一输出值为使用欧拉角和平移向量，对3D空间关键点进行旋转和平移，并透视投影到2D空间中，获得的投影点坐标，设置2D空间损失函数,其中表示最佳焦距；设置第二输出值为使用细致的3DMM的形状系数、表情系数和精细3D空间关键点计算得到3DMM的几何形状；使用3DMM的几何形状、最佳焦距、精细3D空间关键点和投影点坐标计算2D到3D空间的映射矩阵；使用映射矩阵将2D空间监督坐标标记向上映射到3D人脸模型空间，得到的3D映射关键点坐标，使用欧拉角和平移向量，对3D空间关键点进行旋转和平移，得到的3D监督关键点，设置3D空间损失函数 ，设置8300步迭代训练，前300步训练总损失函数为，后8000步训练总损失函数为。

全文数据：

权利要求：

百度查询： 山东浪潮超高清智能科技有限公司 一种数字人稳定头部姿势生成的方法、装置及介质