买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：海看网络科技(山东)股份有限公司

摘要：本发明公开了一种广播电视未按规定转播的识别方法，涉及IPTV转播监测技术领域。本发明包括以下步骤，步骤一，在转播开始时间，获取直播视频流和转播视频流的数据信息，解码两路视频流并进行音画同步，缓存图片和对应的音频；步骤二，获取直播视频流和转播视频流的关键帧；步骤三，匹配关键帧，直播流转播流关键帧列表之间计算图片相似度，图片相似度大于阈值则计算音频相似度，音频相似度也大于阈值则认为在转播中，任务结束；步骤四，经过一定时间没有匹配到关键帧和音频，则认为未转播，发出告警，任务结束。在未转播情况下，本发明可以及时发出告警，用于减少未转播事故率。

主权项：1.一种广播电视未按规定转播的识别方法，其特征在于，包括以下步骤，步骤一，在转播开始时间，获取直播视频流和转播视频流的数据信息，解码两路视频流并进行音画同步，缓存图片和对应的音频；创建UDP网络连接，实时接收视频流数据包，基于多媒体视频处理工具ffmpeg进行视频流数据包识别，获取参数信息，分别对视频帧和音频帧解码，将图片缩放为固定分辨率，音频转换为单声道、固定采样率，得到视频帧序列和音频帧序列，根据显示时间戳同步音视频，组合为音视频帧序列，每一个音视频帧包括一张图片和其对应的音频数据，存入消息队列；根据显示时间戳同步音视频，具体的为，从视频帧序列里取出一组数据，包括视频的显示时间戳和图片，然后和音频帧序列首个音频数据的显示时间戳做对比；如果视频时间戳小于音频时间戳，则删除图片，继续从视频帧序列里取出一组数据，如果视频时间戳大于音频时间戳加一个音频数据的时长，则删除该音频帧数据，继续比对直到视频时间戳落在两个音频时间戳中间，然后截取该落点之后一帧图片对应时间的音频数据，这样一帧图片和其对应的音频数据就组合为一个音视频帧；步骤二，获取直播视频流和转播视频流的关键帧；首先将图片转换为灰度图，统计每个灰度的像素点数，得到灰度直方图；前后两帧计算灰度直方图之差的绝对值均值，若该值大于阈值，则判定后一帧为关键帧，加入关键帧列表；步骤三，匹配关键帧，直播流转播流关键帧列表之间计算图片相似度，图片相似度大于阈值则计算音频相似度，音频相似度也大于阈值则认为在转播中，任务结束；音频相似度计算具体为，基于梅尔频率倒谱系数MFCC特征和皮尔逊相关系数，进行音频相似度计算；具体步骤如下，（1）首先对音频数据进行预处理，将音频数据分成短时间帧，每帧的时长为20-40毫秒；（2）对每帧音频数据应用快速傅里叶变换FFT将时域信号转换为频域信号；（3）在频域信号中将音频信号通过一组梅尔滤波器，计算每个滤波器组输出的对数能量；（4）将上述的对数能量带入离散余弦变换DCT，求出L阶的倒谱系数；（5）将所有短时间音频帧的相同阶数的倒谱系数组合起来，得到L个时序特征向量；（6）对L个时序特征向量分别进行平滑处理，计算皮尔逊相关系数，求均值作为最终的音频相似度；（7）两路视频流的音频可能和视频同步有一定的差异，导致两组音频数据之间有一些延时，会影响音频相似度的计算；如果音频相似度小于阈值，则错位计算皮尔逊相关系数，如果大于阈值，也认为音频匹配成功；图片相似度计算，具体为基于结构相似性指数SSIM算法计算两张图片的相似度；SSIM计算公式如下： 其中，μx和μy分别为图像x和图像y的像素平均值，σx2和σy2分别为图像x和图像y的像素方差，σxy为图像x和图像y之间的协方差，C1和C2是两个常数，用于稳定分母中可能接近零的情况；步骤四，经过一定时间没有匹配到关键帧和音频，则认为未转播，发出告警，任务结束。

全文数据：

权利要求：

百度查询： 海看网络科技(山东)股份有限公司 一种广播电视未按规定转播的识别方法