买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：作业帮教育科技(北京)有限公司

摘要：本发明属于教育领域，提供一种基于图像卡通化的在线直播方法、装置、电子设备，该方法用于实时识别直播视频流中的原始图像，并将该原始图像中的人脸图像进行卡通化，所述方法还包括：收集真实人脸数据集和卡通人脸数据集，建立训练数据集；基于生成对抗网络，建立初始人物卡通头像生成模型，使用训练数据集进行交替训练；根据约束规则，确定损失函数，并使用损失函数对所述交替训练进行控制，以得到最终人物卡通头像生成模型；获取当前直播视频流中待转换的原始图像，使用最终卡通头像生成模型将所述原始图像中的人脸图像转换为卡通人脸图像。本发明能够保证人物卡通图像生成前后的图像在颜色、位置、边缘、纹理、头像属性等多维度上的一致性。

主权项：1.一种基于图像卡通化的在线直播方法，其用于实时识别直播视频流中的原始图像，并将该原始图像中的人脸图像进行卡通化，其特征在于，所述方法还包括：收集真实人脸数据集和卡通人脸数据集，建立训练数据集；基于生成对抗网络，建立初始人物卡通头像生成模型，该初始人物卡通头像生成模型包括两组生成器和判别器，使用所述训练数据集对所述两组生成器和判别器交替训练；预设约束规则，所述约束规则包括：设定一致性参数、使损失函数最小化，以及，判断特定缩放尺寸范围内的真实人脸图像与所生成的人物卡通头像中的脸部肤色、头发颜色、背景颜色一致性；根据约束规则，选择一致性参数以确定损失函数，并使用所述损失函数对所述交替训练进行控制，以得到最终人物卡通头像生成模型；所确定的损失函数为：Ltotal＝λ1LGANG,DY,X,Y+λ2LGANF,DX,Y,X+λ3Lcycle+λ4Lcolor+λ5LtextureG,X+λ6LattributeG,X其中，G是第一生成器；F为第二生成器；X为训练样本中的真实人脸图像，Y是训练样本中的卡通人脸头像；DX是第一判别器；DY是第二判别器；λ1、λ2、λ3、λ4、λ5、λ6是可设定参数；LGAN是判别器的损失值；Lcycle是循环损失值；Lcolor是表示用户的真实人脸图像与所生成的人物卡通图像中脸部肤色、头发颜色、背景颜色之间的颜色损失值；Ltexture是表示用户的真实人脸图像与所生成的人物卡通图像在头发、面部轮廓和或五官位置上的损失值；Lattribute为表示用户的真实人脸图像与所生成的人物卡通图像在头像属性上的损失值；计算Lattribute的计算表达式如下： 其中，Lattribute是表示用户的真实人脸图像与所生成的人物卡通图像在头像属性上的损失值；AX是用于计算用户的真实人脸图像的头像属性值；AY是用于计算所生成的用户的人物卡通头像的头像属性值；是用于表示取AX与AY的欧氏距离的均值；‖AXx-AYGx‖2表示计算生成前后头像属性特征向量的欧氏距离；计算Ltexture的计算表达式如下： 其中，Ltexture是表示用户的真实人脸图像与所生成的人物卡通图像在头发、面部轮廓和五官位置上的损失值；Candyx是表示对用户的真实人脸图像使用Candy算子进行边缘提取的特征值；CandyGx是表示对所生成的用户的人物卡通头像使用Candy算子进行边缘提取的特征值；是表示‖Candyx-CandyGx‖1的均值；‖Candyx-CandyGx‖1是表示Candyx与CandyGx之间的欧式距离；计算LcolorG,X的计算表达式如下： 其中，Lcolor是表示用户的真实人脸图像与所生成的人物卡通图像中脸部肤色、头发颜色、背景颜色之间的颜色损失值；Rex是表示将用户的真实人脸图像缩放到特定范围内的颜色值；ReGx是表示将所生成的用户的人物卡通头像在所述特定范围内的颜色值；是表示‖Rex-ReGx‖1的均值；‖Rex-ReGx‖1是表示Rex与ReGx之间的欧式距离；获取当前直播视频流中待转换的原始图像，使用所述最终人物卡通头像生成模型将所述原始图像中的人脸图像转换为卡通人脸图像。

全文数据：

权利要求：

百度查询： 作业帮教育科技(北京)有限公司 基于图像卡通化的在线直播方法、装置和电子设备