买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东华大学

摘要：本发明涉及一种个性化风格引导的多模态服装搭配推荐方法，包括以下步骤：收集用户的历史服装搭配数据作为用户偏好数据集A，收集带有风格标签的服装搭配图像数据，为数据集B；使用数据集B微调大模型作为服装搭配风格分类网络，将数据集A中的服装搭配图像分类到不同风格类中；利用数据集A作为监督信息进行个性化风格聚类；提取特征；采用正负样本对方式学习服装的兼容性关系；计算一套服装搭配的整体兼容性，结合个性化风格特征和整体兼容性得分，优化个性化服装搭配推荐；输出个性化服装搭配推荐排名列表。解决了服装搭配推荐技术在处理用户个性化需求方面、表征多样性方面存在不足的问题，为用户提供更为精准和个性化的服装搭配建议。

主权项：1.一种个性化风格引导的多模态服装搭配推荐方法，其特征在于，包括以下步骤：步骤1：收集用户的历史服装搭配数据作为用户偏好数据集A，每套搭配由一件上衣、一件下装和一双鞋子组成，包括用户ID、服装图像和对应的文本描述数据；存在用户集合服装搭配集合上衣集合下装集合和鞋子集合这里，每个nX表示相应集合X中元素的数量，其中X分别表示U，O，T，B或者S；数据集A还包含用户的正样本和负样本，其中负样本是将正样本中的一个单品替换为同一类别中的不同单品所得；对于每位用户，维持一个正样本对应十个负样本的比例；收集带有风格标签的服装搭配图像数据用于分析服装搭配的风格，为数据集B；步骤2：使用数据集B微调大模型作为服装搭配风格分类网络，将数据集A中的服装搭配图像分类到不同风格类中；对于数据集A中的一套服装搭配o，其风格特征表示为So；具体如下：将StableDiffusion大模型作为服装搭配风格特征提取的基础模型，使用数据集B中的服装风格标签和LoRA方法对模型进行有监督微调；冻结预训练大模型的原有参数，在每一个Transformer模块中加入低秩分解矩阵，只训练新增的低秩矩阵部分；在模型最后增加一个平均池化层和两个全连接层，使用交叉熵损失和Adam优化方法，最小化模型预测风格标签与实际风格标签的差异；将数据集A中每套服装搭配o输入到微调后模型以提取对应的风格特征So；步骤3：利用数据集A中的用户ID作为监督信息进行个性化风格聚类；采用高斯混合聚类算法以用户为单位对具有相似时尚风格的服装搭配进行分组，每组的簇中心作为个性化风格特征，将用户历史服装搭配中的每套服装搭配的风格特征聚合成用户级个性化风格特征；给定用户u，存在其历史喜爱服装搭配集合Ou＝o1,o2,…,on，n为用户历史喜爱服装搭配的数量，其用户级个性化风格特征为： 其中，Su表示用户u的个性化风格特征，g·表示从服装搭配级风格特征进一步提取用户级风格特征所采用的GMM聚类机制，表示服装搭配oi的风格特征；步骤4：利用卷积神经网络提取服装图像的视觉特征，通过序列到序列模型从服装文本描述中学习文本特征；以一件上衣t为例，利用多层感知器来推导潜在视觉嵌入vt；表达式如下所示： 其中，用CNN提取的视觉特征记为δ·为sigmoid激活函数，ω，b为相关参数；类似地，用序列到序列模型提取的文本特征记为可以获得潜在的文本嵌入ct： 步骤5：图像特征和文本特征的结合为服装搭配的兼容性建模提供了一种多模态表示；使用向量相乘方式将视觉嵌入和文本嵌入融合为视觉文本嵌入，视觉文本多模态嵌入记为zt： 类似地，对于与上衣t搭配的下装b和鞋子s，有视觉嵌入vb、vs，文本嵌入cb、cs，以及视觉文本多模态嵌入zb、zs；步骤6：采用正负样本对方式从正样本和负样本中学习服装的兼容性关系；利用图像、文本和多模态融合嵌入的相似性和互补性，设计两件服装间的兼容性评分函数如下： 这里，Cxy表示x与y的兼容性分数，每个x、y分别表示t、b、s中的两个；对于给定的上衣t，现有正样本下装bi和负样本下装bj分别与之搭配，为了确定兼容度更高的服装搭配，优化目标C表述如下： 其中，和分别表示上衣t与下装bi、bj的兼容性分数；步骤7：考虑上衣、下装和鞋子的成对兼容性，以及每种类型对应的权重，来计算一套服装搭配的整体兼容性：Ctbs＝ρCtb+σCts+τCbs7其中，Ctbs表示上衣t、下装b和鞋子s的整体兼容性，ρ，σ，τ∈[0，1]为非负权衡参数，使用Lasso回归模型学习最优权重分布，在模型训练中以控制不同兼容性对整体兼容性建模的重要性；步骤8：将公式1定义的个性化风格特征Su和公式7定义的服装搭配整体兼容性得分Ctbs结合起来，得到完整的时尚表征；用户u喜欢的鞋子s与给定上衣t和下装b搭配的一套服装搭配o＝t，b，s的个性化兼容性得分Fu，o如下：Fu，o＝SuθCtbs8其中，θ是一个固定维度的张量；步骤9：利用贝叶斯个性化排序框架优化个性化服装搭配推荐；给定元组Su，oit，bp，s，ojt，bq，s，oi和oj分别代表用户u喜欢和不喜欢的服装搭配，其中，两套搭配中上衣与鞋子相同，下装不同，分别用bp和bq表示；因此，优化目标为：个性化排序损失函数用于预测用户更喜欢哪一套服装搭配，可以表示为： 其中，分别是用户u对服装搭配oi、oj的个性化兼容性评分；模型经过个性化排序优化后，可以输出个性化服装搭配推荐排名列表，实现为每位用户推荐符合其历史偏好的服装搭配结果。

全文数据：

权利要求：

百度查询： 东华大学 一种个性化风格引导的多模态服装搭配推荐方法