买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北京衔远有限公司
摘要:本公开提供了一种文生图模型训练方法及装置。该方法包括:获取图像数据集,提取图像数据集中各张人物图像的图像描述;利用各张人物图像及其图像描述构建第一训练数据集;从各张人物图像上分割得到各张人物图像的人物面部图像,利用各张人物图像的人物面部图像和图像描述构建第二训练数据集;将第一训练数据集和第二训练数据集按预设比例组合得到第三训练数据集;为U‑Net网络构建多个LoRA分支,得到去噪微调网络,利用CLIP网络中的文本编码器、VAE网络和去噪微调网络构建文生图模型;利用第三训练数据集训练文生图模型,使得文生图模型学习到人物图像和图像描述。采用上述技术手段,解决现有技术中文生图模型生成图像不合预期的问题。
主权项:1.一种文生图模型训练方法,其特征在于,包括:获取图像数据集,提取所述图像数据集中各张人物图像的图像描述;利用各张人物图像及其图像描述构建第一训练数据集;从各张人物图像上分割得到各张人物图像的人物面部图像,利用各张人物图像的人物面部图像和图像描述构建第二训练数据集;将所述第一训练数据集和所述第二训练数据集按预设比例组合得到第三训练数据集;为U-Net网络构建多个LoRA分支,得到去噪微调网络,利用CLIP网络中的文本编码器、VAE网络和所述去噪微调网络构建文生图模型;利用所述第三训练数据集训练所述文生图模型,使得所述文生图模型学习到人物图像和图像描述。
全文数据:
权利要求:
百度查询: 北京衔远有限公司 文生图模型训练方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。