买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安邮电大学

摘要：本发明公开一种草图到图片跨域合成方法、系统及设备，涉及跨域图片合成技术领域，该方法包括获取草图‑图片数据集；并对草图‑图片数据集进行预处理；构建基于循环生成对抗网络的合成图片模型；合成图片模型包括：带有局部区域抑制的注意力机制模块、单类别的草图到图片合成模型、多类别端到端的草图到图片合成模型以及判别网络；利用草图‑图片数据集训练基于循环生成对抗网络的合成图片模型；利用训练好的基于循环生成对抗网络的合成图片模型对待转换的草图进行图片合成。本发明能够在单类别和多类别草图领域提高图片合成的质量。

主权项：1.一种草图到图片跨域合成方法，其特征在于，包括：获取草图-图片数据集；并对草图-图片数据集进行预处理；所述草图-图片数据集中的图片对为手绘草图与对应的图片；所述预处理包括数据增强；构建基于循环生成对抗网络的合成图片模型；所述基于循环生成对抗网络的合成图片模型包括：带有局部区域抑制的注意力机制模块、单类别的草图到图片合成模型、多类别端到端的草图到图片合成模型以及判别网络；带有局部区域抑制的注意力机制模块用于根据草图中的笔画密集的区域分为单类别的草图和多类别的草图；单类别的草图到图片合成模型用于对单类别的草图进行几何转换以及色彩填充，得到合成图片；多类别端到端的草图到图片合成模型将改进残差模块和上采样结构，添加草图和图片的类别标签至网络中，并在判别网络中添加图片分类器，进而将多类别的草图进行图片合成，得到合成图片；判别网络用于将合成图片进行判别；利用草图-图片数据集训练基于循环生成对抗网络的合成图片模型；利用训练好的基于循环生成对抗网络的合成图片模型对待转换的草图进行图片合成；所述多类别端到端的草图到图片合成模型具体的过程为：在草图到图片转换阶段时，多类别生成器GP以及草图对应的类别信息作为输入，通过注意力机制去噪、下采样编码、AdaIN残差模块以及亚像素卷积上采样操作完成多类别的图片合成；在图片到草图转换阶段时，单类别生成器GS的编码模块对真实图片进行特征编码，通过多层残差模块转换、解码器上采样操作，最终输出转换后的草图；在多类别生成器中，将残差模块的归一化层进行改进，使用AdaIN层代替原来的IN层；在编码器部分使用亚像素卷积PixShuffle，像素重组操作代替原有的转置卷积。

全文数据：

权利要求：

百度查询： 西安邮电大学 一种草图到图片跨域合成方法、系统及设备