买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥君正科技有限公司

摘要：本发明提供一种解决HDR图像融合后SNRDrop问题的方法，包括：S1.采集数据；S2.HDR图像标签制作；S3.选择训练对组合；S4.数据扩增；S5.数据裁剪；S6.设计卷积神经网络；S7.训练卷积神经网络；S8.模型推理后处理和可视化。本方法提出的HDR融合算法仅使用两帧，而传统算法连续多帧以上合成SNRDrop现象才有所改善，且容易出现合成鬼影问题，本申请对图像传感器要求相对较低，且可以尽量避免合成鬼影问题；提出的HDR融合算法没有降低图像传感器的长短帧曝光比，未损失场景的动态范围，场景亮区暗区细节均保持较好。

主权项：1.一种解决HDR图像融合后SNRDrop问题的方法，其特征在于，所述方法包括以下步骤：S1.采集数据：在多种高动态范围静止场景下采集不同曝光数据，使用图像传感器一次性采集长短帧两帧raw数据，即在高动态范围静止场景以不同合适的曝光时间采集raw数据，每个场景采集10帧，保证合成的HDR图像能够覆盖场景的动态范围；S2.HDR图像标签制作：根据传统加权融合算法对每个高动态范围静止场景制作对应场景的HDR图像标签；S3.选择训练对组合：S3.1，每个高动态范围静止场景有10帧raw数据，使用组合的方式两两组合，每个组合按式1计算对应组合合成的HDR图像，每个组合的HDR图像和HDR图像标签均按式2计算对应HDR图像的曲线映射结果It， 其中I为HDR图像，μ为常数5000；S3.2，每个组合的HDR图像对应曲线映射结果和HDR图像标签对应曲线映射结果按式3计算psnr，选择psnr最大的组合作为训练输入数据，该训练输入数据和HDR图像标签组成对应高动态范围静止场景的训练对组合： 其中m和n代表HDR图像宽高，Ii,j和ji,j分别为HDR图像对应曲线映射结果和HDR图像标签对应曲线映射结果；S4.数据扩增：raw数据为bayer格式，假设为rggbbayer，对长短帧的r通道和b通道，同时以1.0，1.2，1.4，1.6，1.8，2.0之间进行相乘后保存，扩充raw数据多样性，对扩充后的数据执行步骤S2的传统加权融合算法，得到扩充后数据的HDR图像标签；S5.数据裁剪，将训练对组合的原始raw数据和HDR图像标签裁剪为512x512大小，增加数据多样性；S6.设计卷积神经网络：S6.1，设计网络输入，raw数据为bayer格式，假设为512x512分辨率的rggbbayer格式，将raw数据对应r、g、g、b共4个通道依次抽出得到分辨率为4x256x256，在不损失原始信息的情况下，减小输入分辨率，降低网络计算量，输入为两帧数据叠加，最终网络输入分辨率为8x256x256；S6.2，设计输入数据前处理，将两帧raw数据抽成4个通道后进行数据归一化，将两帧输入数据input_l和input_s分别除以对应曝光时间t_l和t_s作为网络输入；S6.3，设计特征提取网络，基础特征提取先使用卷积核为3x3，stride为1，pad为1的卷积和leakyrelu激活进行特征提取，再使用两层卷积核为3x3，stride为1，pad为1的卷积结合残差结构，长短帧分别经过特征提取网络提取相应基础特征；S6.4，设计空间注意力机制，拼接特征提取网络提取的长短帧基础特征，经过两层卷积核为3x3，stride为1，pad为1的卷积后进行sigmoid操作提取对应基础特征权重系数后和对应基础特征相乘形成空间注意力机制；S6.5，设计合并网络，使用3个空洞卷积残差密集块串联，每个空洞卷积残差密集块为3个卷积核3x3，pad为2，dilation为2的空洞卷积以密集拼接的方式串联再结合残差构成，空洞卷积有利于增加感受野，密集拼接的方式有利于多个卷积特征融合；S6.6，设计网络输出，合并网络输出和短帧基础特征做加法操作后，经过两层卷积核为3x3，stride为1，pad为1的卷积输出，输出维度为4x256x256；S6.7，设计训练loss，loss如式4所示 其中m和n代表HDR图像宽高，Ii,j和ji,j分别为模型生成的HDR图像按式2计算对应曲线映射结果和HDR图像标签按式2计算对应曲线映射结果，Ioi,j和Joi,j为模型生成的HDR图像和原有HDR图像标签，norm为HDR图像标签按式2计算对应曲线映射结果的最大值；S7.训练卷积神经网络：根据步骤S6设计的卷积神经网络训练，优化器使用Adam，学习率为0.0001，训练周期为50，每20个周期学习率降低0.1倍，训练loss为步骤S6.7的loss；S8.模型推理后处理和可视化：S8.1推理阶段数据后处理，推理阶段原始raw数据为两帧bayer格式数据，大小为2x1080x1920，分别将4个通道数据分别抽出得到8x540x960作为网络输入，经过模型输出为4x540x960，再将模型输出转回bayer格式，最后得到1080x1920合成的HDR图像；S8.2合成的HDR图像按式2进行曲线映射后可视化合成的HDR图像。

全文数据：

权利要求：

百度查询： 合肥君正科技有限公司 一种解决HDR图像融合后SNR Drop问题的方法