买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州华策影视科技有限公司

摘要：本发明涉及人工智能技术领域，提供一种视频转绘方法、装置、设备及介质，能够基于OpenCV库高效提取目标视频的每个视频帧，并对每个视频帧进行预处理得到每个待处理图像，通过预处理降低了后续图像处理的复杂度；将每个待处理图像输入至视频转绘模型得到与每个待处理图像对应的转绘图像，以基于人工智能手段实现视频转绘；对每个转绘图像进行后处理得到与每个转绘图像对应的绘画，并对每个绘画进行重组得到与目标视频对应的目标绘画，从而通过后处理进一步优化了转绘效果，以便得到更加高质量的转绘图像。

主权项：1.一种视频转绘方法，其特征在于，所述视频转绘方法包括：响应于对目标视频的转绘指令，基于OpenCV库提取所述目标视频的每个视频帧；对每个视频帧进行预处理，得到每个待处理图像，包括：对每个视频帧进行层次化场景分割，得到每个子区域图像；使用背景减除法对每个子区域图像进行前景目标与背景的分离，得到每个子图像；对每个子图像进行灰度化处理，得到每个灰度图像；利用去噪自编码器对每个灰度图像进行去噪处理，得到每个待处理图像；调取预先训练的视频转绘模型，并将每个待处理图像输入至所述视频转绘模型，得到与每个待处理图像对应的转绘图像；对每个转绘图像进行后处理，得到与每个转绘图像对应的绘画；对每个绘画进行重组，得到与所述目标视频对应的目标绘画；其中，所述调取预先训练的视频转绘模型前，获取不同风格的图像构建第一训练集，并利用所述第一训练集训练卷积神经网络，得到风格迁移模型；获取源域图像及目标域图像构建第二训练集，并利用所述第二训练集训练对抗网络，得到翻译模型；获取视频帧序列构建第三训练集，并利用所述第三训练集训练时序卷积网络或者时空对抗网络，得到视频生成模型；对所述风格迁移模型、所述翻译模型及所述视频生成模型进行可用性评估，得到评估结果；根据所述评估结果从所述风格迁移模型、所述翻译模型及所述视频生成模型中选择目标模型；对所述目标模型进行参数调整，得到所述视频转绘模型；其中，所述对所述风格迁移模型、所述翻译模型及所述视频生成模型进行可用性评估，得到评估结果包括：获取所述风格迁移模型、所述翻译模型及所述视频生成模型所生成图像的图像质量；其中，所述图像质量的评估指标包括图像清晰度、细节保留度、峰值信噪比；检测所述风格迁移模型、所述翻译模型及所述视频生成模型所生成图像的风格一致性；其中，所述风格一致性的评估指标包括颜色一致性、结构相似性指数；检测所述风格迁移模型、所述翻译模型及所述视频生成模型所生成图像的时序一致性；其中，所述时序一致性的评估指标包括时序相似性指数、帧间差异性、运动平滑度；获取所述风格迁移模型、所述翻译模型及所述视频生成模型的处理效率；分别获取与所述图像质量、所述风格一致性、所述时序一致性、所述处理效率对应的权重；根据与所述图像质量、所述风格一致性、所述时序一致性、所述处理效率对应的权重，以及所述风格迁移模型、所述翻译模型及所述视频生成模型所生成图像的图像质量，所述风格迁移模型、所述翻译模型及所述视频生成模型所生成图像的风格一致性，所述风格迁移模型、所述翻译模型及所述视频生成模型所生成图像的时序一致性，所述风格迁移模型、所述翻译模型及所述视频生成模型的处理效率分别进行加权计算，得到所述风格迁移模型、所述翻译模型及所述视频生成模型对应的可用性；根据所述风格迁移模型、所述翻译模型及所述视频生成模型对应的可用性生成所述评估结果。

全文数据：

权利要求：

百度查询： 杭州华策影视科技有限公司 视频转绘方法、装置、设备及介质