买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京英麒智能科技有限公司

摘要：本发明公开了一种通过生成衣服褶皱和衣服形变的虚拟试穿图生成方法及生成系统，通过结合目前最新的虚拟试穿生成模型，大大提升了试穿衣服的褶皱以及形变等特征的真实性，过程无需人工干涉，成本更低，出图效率非常高，且克服了虚拟试穿图由于缺少褶皱、细节变化、形变不合理等原因产生的不真实性，达到了非常接近真实试穿图的效果；该方法使用简单，只需指定需要生成图片的背景图，衣服，模特姿势等就可以生成对应的图片，易于上手。

主权项：1.一种通过生成衣服褶皱和衣服形变的虚拟试穿图生成方法，其特征在于，包括如下步骤：步骤1、将需要生成虚拟试穿图的衣服和模特输入数据预处理模块，得到两个生成模型需要的姿势骨架图、模特蒙版图模型输入；步骤2、将对应的数据分别输入褶皱衣服生成模型和形变衣服生成模型，生成穿着白色衣服、衣服上只有褶皱的模特图以及穿着试穿衣服的模特图；褶皱衣服生成模型基于stablediffusion的inpainting扩散模型，具体包括如下步骤：步骤21、将白色的、与输入衣服形状对应的衣服经过textualinversion模块转化为stablediffusion需要的条件输入形态，并通过条件输入控制噪声生成；步骤22、随机生成一张高斯噪声图，将其与缩小后的模特的蒙版图，pose的信息图以及通过vae编码器编码的由简单模型生成的白色衣服形变图和模特的去除衣服部分图聚合在一起，输入训练过的stablediffusion的unet，计算需要去除的噪声，将噪声图减去该噪声；步骤23、不断重复去噪过程，通过vae解码器生成目标褶皱衣服图片；形变衣服生成模型基于deformableattention的端到端模型，具体包括如下步骤：步骤24、将模特的衣服不可知图以及姿势骨架图输入一个FPN提取不同尺度的特征，将衣服处理图输入另一个FPN提取不同尺度的特征；步骤25、采用层式级联的方法，将两个FPN提取的特征从尺度最小的特征开始融合，该层式级联方法由多层deformableattentionwrap模块组成，这些模块通过self-deformableattention和cross-deformableattention从粗到细地估计衣服的形变，每一层deformableattentionwrap模块融合两个FPN对应尺度的信息以及上一级deformableattentionwrap模块传来的信息，得到最终的衣服形变信息；步骤26、将最终估计的衣服形变信息融合到一个encoder-decoder模型中，将衣服和模特不可知图输入encoder，融合衣服形变信息，再通过decoder输出虚拟试穿图；步骤3、将白色褶皱衣服图片看作底图，将另一张图片看作待叠图，通过语义分割得到两张图片的衣服部分的蒙版图；根据重叠蒙版将两张图片的对应位置像素的值进行叠加，将两张图片的对应像素的RGB亮度值分别做以下操作：Lnew＝r*L2+1-rL1*L2 其中L1和L2分别为褶皱和形变图片的亮度，a为超参数，Lnew为新的叠加图片的亮度；步骤4、将两个蒙版图的衣服部分做按位与操作，得到蒙版的重叠部分；根据重叠蒙版将两张图片的对应位置像素的值进行叠加；将待叠图的蒙版的边缘部分以微小的比例放大，将该部分的底图的像素作为新的叠加图片的对应部分的像素，将叠加图剩余部分的像素作为新的叠加图片的对应部分的像素；步骤5、用stable-diffusion的inpaintingmodel来处理衣服边缘的瑕疵，并用Controlnet来控制图片的生成；通过Canny边缘检测方法提取叠加效果图的边缘，将该边缘输入Controlnet来控制stablediffusion的生成过程；将叠加效果图输入stable-diffusion模型，将边缘部分的蒙版作为inpaintingmodel的蒙版，去除叠加效果图边缘的瑕疵，并美化模特；步骤6、利用SAM得到的语义蒙版固定人物，切换背景，调整人物比例位置，生成最后的虚拟模特图。

全文数据：

权利要求：

百度查询： 南京英麒智能科技有限公司 一种通过生成衣服褶皱和衣服形变的虚拟试穿图生成方法及生成系统