买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广州手拉手互联网股份有限公司

摘要：本申请提供了AIGC短剧生成信息处理方法及系统，通过目标分镜的人物说话文本的期望传达情感信息以及目标分镜中每句台词的台词语义情感信息生成多个脸部动作关键帧标识；根据用户针对多个脸部动作关键帧标识的第二选择操作确定至少两个目标脸部动作关键帧标识，至少两个目标脸部动作关键帧标识对应的视频时间范围至少包括第一视频时间范围；根据至少两个目标脸部动作关键帧标识调整目标分镜以得到更新后的目标分镜。因此本申请实现了设备处理短剧视频数据时立体化呈现人物剧情期望传达情感信息的功能，有利于提高设备处理分镜中人物脸部影像的精细度、准确度。

主权项：1.一种AIGC短剧生成信息处理方法，其特征在于，所述方法包括：检测到针对目标视频的目标分镜的对表情控件的第一选择操作，获取所述目标分镜的人物说话文本，所述人物说话文本包括至少一句台词；以及，获取所述目标分镜的人物剧情的期望传达情感信息，所述期望传达情感信息是指所述人物说话文本的整体情感信息；获取所述目标分镜中人物的脸部要素，所述脸部要素包括人眼、额头、脸颊肌肉群、口型、面部角度中的至少一个；以及，根据所述至少一句台词的第一视频时间范围在所述目标分镜的视频时间范围中的分布特性确定所述目标分镜的多个关键帧图像；确定所述至少一句台词中每句台词的台词语义情感信息，根据所述台词语义情感信息确定台词情感强度特征向量；以及，根据所述期望传达情感信息确定期望情感强度特征向量；其中，情感强度特征向量用于表征情感的情感强度和情感方向，所述情感方向包括正向和反向，所述正向是指所述期望传达情感信息与所述台词语义情感信息为同一类情感信息，所述反向是指所述期望传达情感信息与所述台词语义情感信息为相反的情感信息；针对所述每句台词的关键帧图像组，执行如下操作a-c，所述关键帧图像组包括所述多个关键帧图像中属于所述每句台词所属的分镜视频片段中的至少2个关键帧图像之间的帧图像：a、根据当前处理的台词的台词情感强度特征向量和所述期望情感强度特征向量、公式（1）确定对应所属的分镜视频片段的第一人物脸部情感强度特征向量；其中，公式（1）为人物脸部情感强度特征向量=β0+β1×台词情感强度特征向量+β2×期望情感强度特征向量+ε，β0、β1、β2回归系数，ε为偏差；b、根据所述第一人物脸部情感强度特征向量确定出所述脸部要素中每个脸部要素在所述分镜视频片段中的第一指标参数调整量；c、根据所述关键帧图像组中每个关键帧图像在所述分镜视频片段的相对时间位置关系和所述第一指标参数调整量执行要素调整操作，得到调整后的关键帧图像组；针对所述每句台词中除所述关键帧图像组之外的剩余帧图像组，执行如下操作：获取第一关键帧图像中的第一人物脸部动作状态，以及，获取第二关键帧图像中的第二人物脸部动作状态，所述第一关键帧图像为所述关键帧图像组中的第一个关键帧图像，所述第二关键帧图像为所述关键帧图像组中的最后一个关键帧图像，人物脸部动作状态用于表征当前帧图像中人物的脸部要素的指标参数调整量；根据所述期望情感强度特征向量和所述第一人物脸部动作状态执行所述要素调整操作，得到调整后的第一剩余帧图像组；根据所述期望情感强度特征向量和所述第二人物脸部动作状态执行所述要素调整操作，得到调整后的第二剩余帧图像组；根据调整后的关键帧图像组、调整后的第一剩余帧图像组、调整后的第二剩余帧图像组生成多个脸部运动关键帧标识，单个脸部运动关键帧标识是一组用于表征关键帧之间人物脸部表情的动态变化过程的帧图像序列，所述多个脸部运动关键帧标识对应的视频时间范围包括所述至少一句台词的第一视频时间范围、以及包括第二视频时间范围和或第三视频时间范围，所述第二视频时间范围为所述第一视频时间范围之前的时段，所述第三视频时间范围为所述第一视频时间范围之后的时段；根据用户针对所述多个脸部运动关键帧标识的第二选择操作确定至少两个目标脸部运动关键帧标识，所述至少两个目标脸部运动关键帧标识对应的视频时间范围至少包括所述第一视频时间范围；根据所述至少两个目标脸部运动关键帧标识调整所述目标分镜以得到更新后的目标分镜。

全文数据：

权利要求：

百度查询： 广州手拉手互联网股份有限公司 一种AIGC短剧生成信息处理方法及系统