买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东大学

摘要：基于数据标注学习机制的视频清晰度和亮度检测方法，属于视频检测技术领域，该方法包括以下步骤：通过视频流获取模块捕捉传输至计算机端的实时监控视频流，并设定播放参数；使用跳帧采集模块对视频流按固定时间间隔进行跳帧采集，获取待检测帧图像；使用清晰度检测模块和亮度检测模块对帧图像进行清晰度和亮度检测，并将检测结果输出至界面显示模块和记录存储模块，结合Qt开发平台，实现可视化展示和本地存储；通过数据标注学习模块读取并标注本地检测记录文件，根据数据标注学习机制对清晰度和亮度检测算法中的参数阈值进行自适应调整，优化检测效果。本发明可针对实时视频监控，准确、高效地进行画面清晰度和亮度检测。

主权项：1.一种基于数据标注学习机制的视频清晰度和亮度检测方法，由实时视频监测系统来实现，该系统包括视频流获取模块、跳帧采集模块、清晰度检测模块、亮度检测模块、界面显示模块、记录存储模块和数据标注学习模块；视频流获取模块和跳帧采集模块相连接，用于捕获摄像头拍摄的实时视频流并提取待检测帧图像，其中视频流通过USB接口传输至计算机端；跳帧采集模块的输出端连接到清晰度检测模块和亮度检测模块，分别对帧图像进行清晰度和亮度检测；清晰度检测模块和亮度检测模块的输出端均连接到界面显示模块和记录存储模块，通过使用Qt进行可视化界面开发，调用QtXlsxWriter库操作Excel文件，实现检测结果的可视化展示和本地存储；记录存储模块和数据标注学习模块相连接，通过标注规则进行人工标注，调用QtXlsxWriter库操作Excel文件，实现对本地检测记录文件的读取和标注；数据标注学习模块的输出端连接到清晰度检测模块和亮度检测模块，通过数据标注学习机制自适应调整算法中的阈值参数，提升检测效果，该方法具体步骤如下：1视频流获取使用摄像头对指定场景进行实时监控拍摄，并通过USB接口将视频流传输至计算机端，在视频流获取模块中调用OpenCV库中的视频处理函数捕获实时视频流，并按照摄像头出厂参数设定画面尺寸和拍摄帧率；2跳帧采集待检测帧图像对视频流按固定的时间间隔进行跳帧采集，经跳帧采集模块获得待检测帧图像F；结合实时检测需求和运行效率，跳帧间隔tgap的计算公式表示为： 其中，fvideo为当前视频流的帧率，单位为帧秒；3视频清晰度检测a.由清晰度检测模块对待检测帧图像F进行灰度变换，获得灰度化的待测图像X；b.对待测图像X进行高斯滤波，设置滤波器模板尺寸为7×7像素、均值为0、方差为4，得到参考图像Y；c.使用Sobel算子对待测图像X和参考图像Y进行梯度运算，得到对应的待测梯度图像X'和参考梯度图像Y'，计算公式如下： 其中，“*”表示卷积操作，“abs”表示对矩阵中所有元素取绝对值的运算，符号“[]”用于表示二维矩阵；d.分别将图像X、Y、X'和Y'按相同的滑动分块方式划分为M个8×8像素大小的图像块，块间的滑动步长设置为8像素，对应的图像块记为xk、yk、xk'和yk'，其中k＝1,2,...,M；e.分别计算图像块xk、yk、xk'和yk'的均值，计算公式为： 其中，和分别为图像块xk、yk、xk'和yk'的均值；f.分别计算图像块xk'和yk'的方差，以及图像块之间的协方差，计算公式为： 其中，和分别为图像块xk'、yk'的方差，以及二者之间的协方差；g.计算图像块xk和yk之间的亮度比较值Lxk,yk，公式如下： 其中，C1为亮度常数；h.计算图像块xk'和yk'之间的梯度对比度比较值Cgxk',yk'，公式如下： 其中，C2为梯度对比度常数；i.计算图像块xk'和yk'之间的梯度结构信息比较值Sgxk',yk'，公式如下： 其中，C3为梯度结构信息常数；j.计算图像块xk和yk的梯度结构相似度GSSIMxk,yk，公式如下：GSSIMxk,yk＝[Lxk,yk]α[Cgxk',yk']β[Sgxk',yk']γ其中，α、β和γ分别为亮度比较值、梯度对比度比较值和梯度结构信息比较值对应的权重系数；令α＝β＝γ＝1，C3＝C22，得到梯度结构相似度的简化公式，表示为： k.计算待测图像X和参考图像Y的平均梯度结构相似度MGSSIMX,Y，公式如下： l.设置清晰度检测阈值Thsharpness，若MGSSIMX，Y＜Thsharpness，判定待检测帧图像F的清晰度达标；若MGSSIMX,Y≥Thsharpness，判定待检测帧图像F的清晰度不达标；4视频亮度检测a.经亮度检测模块将待检测帧图像F由红、绿、蓝颜色模式转换至色度、饱和度、亮度颜色模式，并提取V通道对应的像素值，即图像中像素点对应的亮度值；b.计算待检测帧图像F的平均亮度μV，公式如下： 其中，m、n分别为图像F的像素行数和列数，Vi,j为图像F中位于第i行j列的像素点对应的亮度值；c.设置亮度检测上限阈值Thup和下限阈值Thdown，若Thdown＜μV＜Thup，判定待检测帧图像F的亮度达标；若μV≤Thdown，判定待检测帧图像F的亮度过低；若μV≥Thup，判定待检测帧图像F的亮度过高；5使用Qt进行可视化界面开发a.经由界面显示模块使用Qt中的多线程机制，设计视频流播放采集子线程PlayerThread，用于实现视频流的获取和参数设置，同时实现对待检测帧图像的跳帧采集；b.设计视频清晰度检测子线程SharpnessThread，用于接收PlayerThread子线程发送的待检测帧图像，进行清晰度检测，并将检测结果呈现到可视化界面；c.设计视频亮度检测子线程BrightnessThread，用于接收PlayerThread子线程发送的待检测帧图像，进行亮度检测，并将检测结果呈现到可视化界面；d.设计检测记录存储子线程SaveThread，用于接收PlayerThread子线程发送的待检测帧图像，同时接收SharpnessThread子线程和BrightnessThread子线程发送的清晰度和亮度检测结果，作为当前视频流的检测记录，以Excel文件的形式存放至本地文件夹中；e.设计数据标注学习子线程LearnThread，用于读取已进行数据标注的本地检测记录Excel文件，结合数据标注学习机制，实现对清晰度检测阈值Thsharpness、亮度检测上限阈值Thup和下限阈值Thdown的自适应调整；f.使用QtCreator绘制可视化图形界面，设置视频流播放窗口、清晰度和亮度检测结果展示框，实现对视频流的实时播放和检测结果显示；6检测记录存储a.在记录存储模块中使用QtXlsxWriter库提供的QXlsx::Document函数，将Excel文件创建至本地文件夹中，以当天日期作为文件名；b.使用QtXlsxWriter库提供的QXlsx::write函数，在Excel表格中创建3列表单项，分别为“帧图像”、“清晰度检测结果”和“亮度检测结果”；c.使用QtXlsxWriter库提供的QXlsx::insertImage函数，向表单项“帧图像”所在列插入待检测帧图像F；d.使用QtXlsxWriter库提供的QXlsx::write函数，分别向表单项“清晰度检测结果”和“亮度检测结果”所在列插入待检测帧图像F的清晰度和亮度检测结果；e.以1张待检测帧图像F及其对应的清晰度和亮度检测结果作为1条检测记录，使用QtXlsxWriter库提供的QXlsx::saveAs函数，保存插入Excel表格的所有检测记录；7数据标注学习a.使用数据标注学习模块，针对本地Excel文件存储的检测记录，设置清晰度标注规则：“TU”，清晰度检测结果达标，实际视觉评估不达标；“FN”，清晰度检测结果不达标，实际视觉评估达标；b.设置亮度标注规则：“TL”，亮度检测结果达标，实际视觉评估为过暗；“TH”，亮度检测结果达标，实际视觉评估为过亮；“LT”，亮度检测结果为过暗，实际视觉评估达标；“HT”，亮度检测结果为过亮，实际视觉评估达标；c.打开已生成的本地Excel文件，在Excel表格中新增2列表单项，分别为“清晰度标注”和“亮度标注”；d.对Excel表格中的每条检测记录进行人工视觉评估，根据清晰度和亮度标注规则，分别向表单项“清晰度标注”和“亮度标注”所在列添加标注符号，并保存已标注的Excel文件；e.使用QtXlsxWriter库提供的QXlsx::Document函数，读取已标注的Excel文件；f.使用QtXlsxWriter库提供的QXlsx::Cell函数，分别统计表单项“清晰度标注”和“亮度标注”所在列各标注符号“TU”、“FN”、“TL”、“TH”、“LT”、“HT”的数量；g.使用Qt中的SQL控件，创建数据库表单LearnTable，并设置表单项“Sharpness”、“Brightness_Up”和“Brightness_Down”，分别存储清晰度检测标记值Tabsharpness、亮度检测上限标记值Tabup和下限标记值Tabdown，计算公式如下：Tabsharpness＝NFN-NTUTabup＝NHT-NTHTabdown＝NTL-NLT其中，NFN、NTU、NHT、NTH、NTL、NLT分别为标注符号“FN”、“TU”、“HT”、“TH”、“TL”、“LT”的统计数量；h.自适应调整、更新清晰度检测阈值Thsharpness、亮度检测上限阈值Thup和下限阈值Thdown，更新方式如下： 其中，“:＝”为更新迭代运算符，R为标记系数，用于调整标记值的权重；i.将更新后的清晰度检测阈值Thsharpness、亮度检测上限阈值Thup和下限阈值Thdown应用于当前视频流的清晰度和亮度检测工作中。

全文数据：

权利要求：

百度查询： 山东大学 基于数据标注学习机制的视频清晰度和亮度检测方法