买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东华大学

摘要：本发明涉及一种智能服装草图局部样式编辑方法，旨在帮助服装设计师对服装草图的局部样式进行智能精确编辑，增强设计的可控性和灵活性。本发明使用语义分割和稀疏主成分分析方法实现服装草图的局部样式编辑。首先，对完整服装草图进行语义分割，以分割的语义部分为引导将潜在空间进行分解；然后基于编码器的方法训练一个VGG结构的编码器和StyleGAN解码器，获取完整草图和分割草图的潜在向量,并在潜在空间用稀疏主成分分析提取出更加简洁和解释性强的特征，沿着主要方向施加不同程度的扰动，实现服装草图的局部样式编辑。

主权项：1.一种智能服装草图局部样式编辑方法，其特征在于，包括以下步骤：步骤1：获取草图数据集；步骤1具体为：以服装草图作为输入，使用公开数据集HAIFashion中的服装-草图配对图像，并调整大小；步骤2：语义分割网络将完整草图分割为衣袖和躯干两部分；步骤2具体为：服装草图语义分割网络构建：以完整草图Ai作为输入，经过服装草图语义分割网络后，将完整的服装草图Ai分割为局部草图衣袖和局部草图躯干两部分；其中i表示第i张图片；具体公式为： 其中F是整个服装草图语义分割网络；服装草图语义分割模块采用编码器-解码器架构；编码网络用于提取特征，解码网络将编码器学习到的可判别特征从语义上投影到像素空间，以获得密集分类；编码网络采取swintransformer结构，这种层次化的设计对特征图进行不同倍数的下采样，得到不同层次特征图；将图像划分为不重叠的窗口，全局自注意力机制拆分成多个局部窗口内的子自注意力机制，并通过移动窗口让相邻的两个窗口之间有了交互，实现全局建模，基于移动窗口进行自注意力机制的计算；解码网络融合编码部分的多分辨率侧输出，包括跳过和相邻连接两种连接方法；跳过连接方法接收具有四倍分辨率差的特征图；三个跳过连接细化块分别以输入图像大小的1、14、12、18和14、116的特征图作为输入，然后水平横向拓展网络深度，对跳过连接的特征图进一步进行相邻连接；在解码器网络中，细化模块包括上采样、逐像素加和权重卷积；由于主干网侧输出是不同分辨率的特征图，因此使用双线性上采样法将低分辨率特征图上采样为高分辨率特征图；每一个侧输出特征图都要经过权重卷积，用于自动平衡每个特征，更好地捕捉到服装草图中的各种细节和纹理信息；权重卷积分为两支流，一个对特征图进行3×3卷积，然后通过RELU激活函数进行激活；另一个用sigmoid函数对可训练参数α进行激活操作，然后通过Sigmoid激活函数进行激活；由第一个流获得的特征图由第二个流自动加权；最后使用元素相加层来融合多个输入；采用图像分割中最常用的损失函数交叉熵损失作为损失函数Loss，具体计算公式为： 其中n表示分类的类别个数，xj表示第j个类别的输出，pxj表示的真实类别概率分布，qxj表示的最终预测类别概率分布；步骤3：训练一个VGG结构的编码器和StyleGAN解码器，获取草图的潜在向量；步骤3具体为：获取完整草图和局部草图的潜在向量：以分割后的局部草图和完整草图Ai作为输入，训练一个StyleGAN模型，将局部草图和完整草图投影到同一个StyleGAN潜在空间，从而得到每一张局部草图的潜在向量w；同时，以分割后的局部草图和完整草图Ai作为输入，训练一个编码器用于图像反演，编码器的整体结构与VGG16一致，调整其全连接层的输出维度以匹配潜在向量w的维度；以完整服装草图Ai和局部属性草图作为输入，编码器将图像逆映射到潜在空间，每一张草图图像都得到对应的潜在向量w，然后以训练的StyleGAN作为解码器，将逆映射的潜在向量通过StyleGAN的生成网络重建草图，重建图像和真实图像提取特征后计算重建损失来更新编码器，从而得到局部属性草图和完整草图的潜在向量；损失函数LOSS定义如下： 其中，Fun为VGG16的特征提取层，通过VGG16对真实图像x与生成图像特征提取，然后使用均方误差来更新编码器；步骤4：应用预训练的VGG结构的编码器获取局部潜在空间；步骤4具体为：获取局部潜在空间：通过S2的服装草图语义分割模块对完整服装草图进行分割，得到局部属性草图对草图数据集进行分类，所有的衣袖为一类，所有的躯干为一类，分别将衣袖、躯干输入到步骤3中的编码器，编码器将N张语义分割得到的袖子和N张躯干分别反演为N个向量w1:N，得到衣袖和躯干局部潜在空间；步骤5：在局部潜在空间中应用SparsePCA实现服装草图编辑；步骤5具体为：沿重要方向的层级扰动来定义可解释控制，实现服装草图编辑：在局部潜在空间中应用稀疏主成分分析找到潜在空间中影响时尚草图样式的重要方向；执行稀疏主成分分析后，得到一个基V；当出现定义的新图像时，将图像输入编码器反演得到其对应潜在向量w，在将其输入合成网络之前通过调整稀疏主成分分析坐标进行修改，修改后的潜在向量w′的计算公式为：w′＝w+Vα其中α是稀疏主成分分析坐标，每一个α的条目αk都是一个独立的控制变量；αk最初都是0，直到被修改；w′经过生成网络生成符合要求的新的服装草图。

全文数据：

权利要求：

百度查询： 东华大学 一种智能服装草图局部样式编辑方法