西北工业大学闫庆森获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西北工业大学申请的专利一种基于饱和度感知编码器的小样本HDR去鬼影方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116389926B 。
龙图腾网通过国家知识产权局官网在2025-08-01发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310353791.5,技术领域涉及:H04N25/626;该发明授权一种基于饱和度感知编码器的小样本HDR去鬼影方法是由闫庆森;张艳宁;朱宇;刘胜强;孙瑾秋;陈伟烨;张松设计研发完成,并于2023-04-05向国家知识产权局提交的专利申请。
本一种基于饱和度感知编码器的小样本HDR去鬼影方法在说明书摘要公布了:本发明公开了一种基于饱和度感知编码器的小样本HDR去鬼影方法,首先通过曝光调整将短曝光帧调整为新的中曝光帧和新的长曝光帧;然后通过伽马校正将LDR输入图像映射到HDR域;再经过幻化模块和多尺度残差SwinTransformer模块,经过卷积层,得到最终的预测图像。本发明只需少量有标签的HDR数据,符合实际需求,适用性强,重建的HDR图像质量高。
本发明授权一种基于饱和度感知编码器的小样本HDR去鬼影方法在权利要求书中公布了:1.一种基于饱和度感知编码器的小样本HDR去鬼影方法,其特征在于,包括如下步骤: 步骤1:通过曝光调整将短曝光帧调整为新的中曝光帧和新的长曝光帧 通过曝光调整将短曝光帧转换为新的中曝光帧和长曝光帧过程如下所示: 式中,clip·表示曝光调整,γ表示伽马校正参数,t1、t2、t3分别表示短曝光帧的曝光时间、中曝光帧的曝光时间和长曝光帧的曝光时间; 步骤2:通过伽马校正将LDR输入图像映射到HDR域分别得到H1′、H2′、H3′; 映射过程如下所示: 式中, 步骤3:连接和Hi′获得6通道输入Ii,并屏蔽输入Ii图像块以获得I′i; 沿着通道维度连接和Hi′以获得6通道输入随后屏蔽输入Ii的图像块以获得I′i;具体为:将输入分成不重叠的图像块并以高掩码率75%随机对这些图像块的一个子集进行掩码得到I′i; 步骤4:将I′={I′1,I′2,I′3}输入幻化模块,得到特征 首先将I′1,I′2,I′3分别输入三个卷积层,提取浅层特征Fi;然后,将浅层特征Fi划分为不重叠的图像块并将每个图像块映射到查询q、键k和值v;随后,计算查询q和键k之间的相似度,并使用Softmax函数以获得注意力权重;最后,将注意力权重应用于v以获得操作过程如下所示: 式中,Wq、Wk、Wv分别表示映射到查询q、键k和值v的参数矩阵,分别表示图像块映射后的查询、键、值,b是可学习的位置编码,d是的维度; 步骤5:将沿通道连接得到Fs,然后输入多尺度残差SwinTransformer模块,输出特征Fout; 首先,将沿着通道维度连接起来,得到多尺度残差SwinTransformer模块的输入;多尺度残差SwinTransformer模块由多个多尺度SwinTransformer层STL、多个卷积层和一个残差连接组成;给定第i个多尺度残差SwinTransformer模块的输入特征第i个多尺度残差SwinTransformer模块的输出表示如下: 式中,表示第i个多尺度残差SwinTransformer模块中尺度为lj的第N个SwinTransformer层;经过多个多尺度残差SwinTransformer模块后,最终输出Fout; 步骤6:Fout经过卷积层与步骤5中沿通道连接得到的残差Fs相加,得到最终的预测图像 Fout输入卷积层然后与残差Fs相加,得到最终的预测图像计算过程如下: 步骤7:设计损失函数,训练模型; 使用函数ω将预测的HDR图像变换为短曝光、中曝光和长曝光LDR图像过程如下: 式中,i=1,2,3分别对应短曝光、中曝光和长曝光; 通过标签生成将短曝光帧转换为新的短、中和长曝光帧;然后,将新的曝光帧作为模型的标签计算过程如下: 最后计算与之间的L1自监督损失: 步骤8:使用静态有标签的LDR样本S和动态有标签的LDR样本D微调已训练的模型,得到优化模型; 使用动态标记样本D和静态标记样本S对模型进行微调,应用μ律映射线性域图像到色调映射域图像,如下所示: 式中,Tx是色调映射函数; 然后将动态标记样本D和静态标记样本S输入模型得到预测的HDR图像和并计算其与样本标签之间的重建损失Lrecon和感知损失Lpercep,公式如下: Lfinetune=Lrecon+λLpercep14 式中,σi,j·表示VGG19网络中的第j个卷积层和第i个最大池化层,λ=1e-2; 步骤9:利用无标签LDR样本U,迭代优化模型; 生成无标签数据的HDR伪标签并利用无标签LDR样本U和有标签的LDR样本S、D迭代优化模型; 步骤9-1:采用自适应伪标签选择策略来选择无重影的HDR伪标签; 在时间步t,使用优化模型Nt来预测动态和静态标记样本的HDR图像和然后使用函数ω将预测的HDR图像映射到中等曝光图像并计与原始中等曝光LDR图像的损失公式如下: 式中,mask·表示遮盖曝光过度和曝光不足的区域;设定亮度值在τ0到τ1之间为曝光正常的区域,小于τ0为曝光不足,大于τ1为曝光过度; 对所有图像块的损失进行排序,并采用σ·,·函数得到β百分位数损失作为选择阈值τt: 使用模型Nt预测无标签样本的伪标签然后使用ω函数将映射到中等曝光得到并计算和原始中等曝光LDR图像之间的损失得到 如果当前损失大于阈值τt,判定伪标签质量较差,具有更多的饱和区域和鬼影区域,则给出一个权重,该权重在下一次训练迭代中趋于线性衰减,计算过程如下所示: 式中,为时间步t中无标签的中等曝光图像,为时间步t中无标签样本的最大选择损失,为无标签样本Ui在第t+1次训练迭代中的权重因子; 步骤9-2:使用动态和静态有标签样本D和S以及无标签样本U迭代自适应优化模型; 在时间步t,使用模型Nt来预测无标签数据的伪标签然后用标签和伪标记样本训练模型Nt,得到时间步t+1的模型Nt+1;每个时间步中,计算重建损失和感知损失如下: 式中,λ=1e-2,是无标签数据Ui的权重因子。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西北工业大学,其通讯地址为:710072 陕西省西安市友谊西路;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。