买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:广东美晨通讯有限公司
摘要:本发明公开了一种基于U‑net的轻量化扩散模型、终端和图像处理方法,所述扩散模型包括包括U‑net模型,该U‑net模型包括一个用于特征提取的编码器和一个用于重建输出的解码器,其中编码器和解码器之间通过跳跃连接方式进行连接,并且将上下文感知与U‑net模型结合,使用FID和CLIP公式计算指标,在U‑net模型中添加若干个transformer模块,调整该transformer模块的宽度;构建一个文本到图像的扩散模型;将改进U‑net模型与文本到图像的扩散模型相结合,还引入一个数据蒸馏管道进行蒸馏处理,通过正则化来改进步骤蒸馏过程中的学习目标。本发明不仅具有更高的推理速度和图像质量,还能更好地适应移动设备的资源限制,提高了移动端图像处理应用的实用性和用户体验。
主权项:1.一种基于U-net的轻量化扩散模型,其特征在于,包括U-net模型,该U-net模型包括一个用于特征提取的编码器和一个用于重建输出的解码器,其中编码器和解码器之间通过跳跃连接方式进行连接,并且将上下文感知与U-net模型结合,使用FID和CLIP公式计算指标: 在FID中x是真实图像的分布,g是生成图像的分布,μx和μg分别是真实图像和生成图像的特征均值,∑x和Σg分别是真实图像和生成图像的特征协方差矩阵,在CLIP中image_embed是图像的嵌入向量,text_embed是文本的嵌入向量,得到一个改进U-net模型;在U-net模型中添加若干个transformer模块,调整该transformer模块的宽度;构建一个文本到图像的扩散模型;将改进U-net模型与文本到图像的扩散模型相结合,还引入一个数据蒸馏管道进行蒸馏处理,以压缩和加速图像解码器的过程,并通过正则化来改进步骤蒸馏过程中的学习目标。
全文数据:
权利要求:
百度查询: 广东美晨通讯有限公司 一种基于U-net的轻量化扩散模型、终端和图像处理方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。