恭喜上海大学刘思维获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜上海大学申请的专利一种基于宽度注意力和图卷积优化的卡通线稿上色方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114140545B 。
龙图腾网通过国家知识产权局官网在2025-04-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111358038.2,技术领域涉及:G06T11/00;该发明授权一种基于宽度注意力和图卷积优化的卡通线稿上色方法是由刘思维;谢志峰;孙郁州设计研发完成,并于2021-11-16向国家知识产权局提交的专利申请。
本一种基于宽度注意力和图卷积优化的卡通线稿上色方法在说明书摘要公布了:本发明涉及一种基于宽度注意力和图卷积优化的卡通线稿上色方法。1使用预训练的VGG16模型提取卡通图像的特征并进行余弦相似度比对,选取相似度前三的图像组成一一匹配的原图‑参考图像对;2构建卡通线稿‑上色图特征匹配模型:首先,U‑Net网络分别提取卡通线稿和上色图的多尺度深度特征;其次,上采样阶段各个尺度的线稿和上色图特征输入宽度注意力特征匹配网络进行特征匹配,再使用图卷积模块进行整体优化。3将匹配后的特征和线稿图像输入到生成模型,得到最终的上色结果。本方法使用端到端的网络模型,不仅减少了工程的复杂度,且有效地解决了原图和参考图之间色彩特征和语义特征的匹配问题,生成精美高分辨率的上色卡通图像。
本发明授权一种基于宽度注意力和图卷积优化的卡通线稿上色方法在权利要求书中公布了:1.一种基于宽度注意力和图卷积优化的卡通线稿上色方法,其特征在于,具体操作步骤如下:步骤1,卡通图像数据集预处理:为方便训练,将卡通上色图像按余弦相似度排序获取原图-参考图互相匹配的数据集;步骤2,构建特征匹配网络:采用U-Net分别提取线稿和上色参考图的特征,在上采样阶段的每个尺度进行宽度注意力特征匹配,各个尺度匹配后使用GCN模块优化匹配结果;步骤3,构建上色生成模型:将匹配后各个尺度的特征与线稿图像融合,生成最终的上色结果;所述步骤2的具体步骤如下:将预处理完成的线稿和上色参考图分别输入残差U-Net网络提取多尺度的深度特征,上采样阶段各个尺度的特征进行基于宽度注意力的特征密集匹配,并在每个尺度特征匹配之后使用图卷积模块优化;其中,残差U-Net在编码器-解码器的结构上引入跳跃连接,将特征在各个维度上拼接在一起形成更厚的特征图;残差连接保留编码部分不同特征层的细节信息,减少了特征处理时间;宽度学习系统是一种高效的学习系统,给定输入数据,通过增强特征节点能够提取更有效的特征;图卷积优化模块将像素视作节点,像素之间空间坐标的连线作为边;相邻特征作为当前节点的信息补充,避免了局部位置信息出现损失,能够更好地进行特征匹配;2-1U-Net特征提取网络U-Net网络的特点在于,融合下采样和上采样不同尺度的特征学习位置信息和语义信息;网络训练时,首先将线稿和上色参考图分别输入网络,下采样阶段经过4个分辨率级别的特征提取,每个尺度的特征依次经过卷积层、归一化层和两层堆叠的残差块;瓶颈层在两层卷积层之后经过Squeeze-and-Excitation通道注意力模块,这能够解决卷积池化过程中不同通道重要性不同带来的损失问题;上采样阶段融合相应尺度的特征并输出四个分辨率级别的特征,输出特征用于线稿域与参考图域匹配;2-2宽度注意力模块网络将从最低的分辨率进行相应匹配,并使用匹配结果作为后续更高分辨率匹配的初始指导;给定输入特征X,输入层由特征节点Zi和增强节点Hj组成,表示为特征节点数输入数据X与变换函数φ的映射特征,第i个映射特征计算为:ΦXWei+βei,i=1,2...n1其中φ是第i组映射特征的变换函数,加权矩阵Wei和偏置项βei是随机初始化为相应维度的参数;这些随机生成的映射特征组合在一起,表示为Zn=[Z1,Z2,…,Zn];宽度注意力将使用这些映射特征组成的Zn通过非线性激活函数扩展增强层;其对应的公式如下: 其中ξ是非线性激活函数,和映射特征类似,和也是随机生成的参数;最终宽度注意力公式表示为: 权重系数通过宽度学习系统中的伪逆计算得到;由于宽度注意力保留了RVFL的随机权重机制,且计算权重系数不需要耗时的迭代过程,因此快速将输入样本映射到更合适的空间,辅助特征匹配;2-3图卷积优化模块特征匹配阶段在PatchMatch匹配算法的基础上引入了图卷积进行优化;PatchMatch算法基于随机采样思想,根据图像区域相似性,提供了一种在整个图像区域快速传播以提高搜索匹配效率的机制;即通过最近邻域NNF传播结果的位置改进当前块的匹配;具体如下式所示,其中N′t是最近邻域传播的结果;N′t=propagationNt,fx,fy4然而,PatchMatch算法方法容易陷入局部最优,且过于依赖空间平滑假设;引入图卷积通过提取目标之间的关系,将邻居特征和当前节点的特征结合,通过优化像素级位置信息的损失来改善匹配结果;图卷积公式表示如下:F=σAXW5其中F是经过图卷积后的特征,A是邻接矩阵,X是输入的特征节点,W是网络需要学习的参数,σ是非线性激活函数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人上海大学,其通讯地址为:200444 上海市宝山区上大路99号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。