北京航空航天大学杭州创新研究院胡海苗获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京航空航天大学杭州创新研究院申请的专利一种面向高速公路视频监控的实时自适应清晰化方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117274084B 。
龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311203073.6,技术领域涉及:G06T5/90;该发明授权一种面向高速公路视频监控的实时自适应清晰化方法是由胡海苗;何正山;徐彬鑫设计研发完成,并于2023-09-18向国家知识产权局提交的专利申请。
本一种面向高速公路视频监控的实时自适应清晰化方法在说明书摘要公布了:本发明公开了一种面向高速公路视频监控的实时自适应清晰化方法,包括:训练特征增强模型,一方面构建重建损失,约束输入原始图像和输出的增强图像在场景结构上保持一致,另一个方面以清晰图像中目标的响应特征作为约束,通过无监督训练方式对齐目标在检测器高层响应的特征,提供模型的泛化性能。同时,为了确定某一场景的目标是否需要增强,利用检测器输出的置信度分数和响应的特征信息熵作为指标,度量场景目标差异,实现自适应的增强。实施该方法的面向高速公路视频监控的实时自适应清晰化装置,包括:场景目标差异感知模块和场景目标特征增强模块,该装置可作为视频监控系统的预处理插件,为目标检测算法提供清晰图像输入。
本发明授权一种面向高速公路视频监控的实时自适应清晰化方法在权利要求书中公布了:1.一种面向高速公路视频监控的实时自适应清晰化方法,其特征在于包括: A训练特征增强网络,获取降质场景A的特征增强模型G,具体包括: A1从降质场景A和清晰场景B中分别选择样本图像a和b; A2将样本图像a输入到特征增强模型G,获取增强图像a1,将增强图像a1和样本图像a输入到场景保持模块,该模块将对a1和a在场景像素灰度、场景结构感知和颜色进行一致性约束; A3将带有标注信息的样本图像b输入到预训练好的检测器中,根据标签信息获取检测器响应的目标特征向量;将没有标注信息的增强图像a1输入到检测器中,根据检测器检测出的高置信度目标框,修正检测器响应的候选框,根据修正后的候选框,获取检测器响应的目标特征向量;之后,根据样本图像b和样本图像a1中目标响应的特征向量对目标进行对齐; B场景目标差异度量,根据降质场景目标和清晰场景目标的检测置信度和响应特征信息熵作为统计量,对场景目标差异进行感知, C测试阶段对测试场景的图像数据进行抽样,经过目标差异度量,判断是否需要增强,如果需要增强,则将场景数据作为特征增强模型G的输入,获得本发明的清晰化处理结果J, 其中: 在上述步骤A1中,输入的样本图像a和样本图像b是非成对的降质图像和清晰图像, 场景保持模块进行增强图像重建,保证增强图像和原始图像在场景结构上保持一致,其中,对像素灰度的约束为: 其中Ix表示原始图像即对应的样本图像a,GIx表示增强图像即对应图像a1, 场景结构感知约束采用预训练好的VGG19模型,以还原图像和模型生成的增强图像在VGG19网络的每个激活层特征图作为约束,使生成图像在整体结构上与原始还原图保持一致: 其中,K表示激活层的个数,k表示VGG19模型第k个激活层,VGGk表示第k个激活层的响应特征, 对场景的颜色约束为: 其中,分别是生成图像a1在三个颜色通道的像素均值,其中假设白平衡的图像其三通道均值近似相等,使用三通道均值中最大最小值之差来约束场景整体的偏色问题, 步骤A3包括:针对FasterRCNN检测器,输入样本图像b,经过主干网络后获取全局特征basefeat,根据样本图像b的标签信息label获取检测器RPN模块输出的候选框: Bboxcandidate=Frpnbasefeat,label, 之后根据候选框在全局特征上找到对应目标响应的特征,经过一层全连接层Flinear获取目标特征向量fb: fb=Flinearbasefeat,Bboxcandidate, 其中,Flinear是全连接层,对于输入的增强图像a1,由于没有标注信息,因此根据预训练好的检测器模型在图像a1高置信度的检测结果,对检测器RPN模块预测的候选框进行修正,使该模块输出更准确的候选框,之后同理得到图像a1的目标特征向量fa1, 获取样本图像b和增强图像a1的目标特征向量后,引入目标特征对齐损失: 求和下界为0,没有上界, 其中表示图像b在检测器中响应的第cls类目标特征向量均值,表示图像a1在检测器中响应的第cls类目标特征向量均值,该损失和步骤A2中的像素灰度损失Losspix、感知约束损失Losspercep和颜色约束损失Losscolor三个损失共同构成了模型的优化函数,模型参数优化器为Adam,学习率为2e-4,迭代训练约50轮模型收敛,训练数据中清晰图像样本来自于VOC2007数据集,浓雾降质图像样本来自于RTTS数据集,低照度降质图像样本来自于exdark数据集, 在步骤B中,对于一幅在降质场景或清晰场景采集的图像,其目标检测结果平均置信度可以表示为: 求和下限为0,上限为1,Ncand表示候选框的数量,FscoreBboxi为第i个候选框的置信度分数,T为置信度阈值,排除分数过小的候选框,设置为0.02,对于一幅输入图像,其中的目标在检测器中响应的特征图的信息熵,它能够反映目标在检测器中表达的信息的多少: pi表示第i个值在特征中出现的概率, 根据目标检测结果平均置信度S和标在检测器中响应的特征图的信息熵E的定义对还原后的降质图像数据和清晰图像数据进行离线统计,根据拉伊达法则获取统计量阈值,确定决策条件: D=δS<0.55orE<8.85, 即当条件δS<0.55orE<8.85满足时,则该场景的的数据需要进行特征增强,其中,降质图像数据来自于RTTS数据集的浓雾图像,清晰图像数据来自VOC2007数据集, 在步骤C中,测试阶段首先对测试场景的图像数据进行抽样,然后在线统计图像数据的置信度和特征信息熵,确定该场景是否需要增强,当需要增强时将降质图像作为特征增强模型G的输入,获得清晰化处理结果J。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京航空航天大学杭州创新研究院,其通讯地址为:310051 浙江省杭州市滨江区长河街道炬航弄99号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。