买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:深蓝(深圳)感知科技有限公司
摘要:本发明属于无人机巡检及视频处理技术领域,公开了一种多路视频流关键帧标记及推流方法。包括如下步骤:无人机采集视频信号并主动推流到流媒体服务器A;算法平台主动拉取视频流,对视频流进行处理,根据指定的任务ID执行对应检测模型、捕获关键事件、封装新的结果视频帧,然后推流至流媒体服务器B;同时,算法平台对视频流进行处理时捕获关键图像帧及关键事件,并将关键图像帧推送至对象存储服务器保存,关键事件对应的识别过程数据保存至业务库备份;用户根据需求实时拉取流媒体服务器B的检测结果视频。本发明方法能够多线程的拉流、识别与推流,并能有效识别关键事件及过滤干扰事件,显著提高数据传输效率和提升推流实时性。
主权项:1.一种多路视频流关键帧标记及推流方法,其特征在于,包括如下步骤:(1)无人机通过图像采集卡采集视频信号,并主动将采集的视频信号推流到流媒体服务器A;(2)算法平台通过流媒体管道A从后端处理平台主动拉取视频流,对视频流进行处理,视频流处理过程包括根据指定的任务ID执行对应检测模型、捕获关键事件、封装新的结果视频帧,然后将检测结果视频帧通过流媒体管道B推流至流媒体服务器B;同时,算法平台对视频流进行处理时捕获关键图像帧以及关键事件,并将关键图像帧推送至对象存储服务器保存,关键事件对应的识别过程数据保存至业务库备份;(3)用户根据需求实时通过后端处理平台拉取流媒体服务器B的检测结果视频;步骤(2)中所述视频流处理过程包括如下步骤:I、启动算法平台,算法平台从硬盘加载推理模型到不同的GPU硬件,并为每个推理模型初始化全局排他锁;II、后端处理平台根据用户请求,传递请求任务序列[0,1,2,…]到算法平台;III、算法平台处理请求,开始从流媒体服务器A拉取视频流;IV、算法平台执行视频流处理单元,循环获取当前待处理图像帧,对获取的帧图像执行识别模块,获得关键事件当前帧截图与识别事件标签进行封装,然后实时推流回流媒体服务器B;所述识别事件标签包括事件所处图像位置、类别、置信度和时间;步骤IV的具体过程如下:A、根据外部请求,算法平台主线程执行视频流处理单元,对拉取视频流进行处理与推流;B、主线程启动四个非阻塞独立子线程:拉流线程、检测跟踪处理线程、关键事件处理线程和推流线程;四个子线程独立运行并共享主线程资源,通过设置主动循环标签,确定子线程结束条件;具体步骤如下:(a)拉流线程根据平台传递的RTSP地址使用FFmpeg拉取流媒体,并将图像帧存储于视频流队列,并设置自增索引i代表当前视频帧位置;每次添加图像帧后判断当前队列长度是否超过队列容量Cap1,若超过则将队列首帧移除;(b)检测跟踪处理线程循环监听视频流队列,当视频流队列具有图像帧信息时,不断消费队列执行实例模型进行识别;对当前图像帧识别后的结果进行图像重绘,将关键信息标记于原始帧图像并添加至推流队列;添加结果帧到队列后判断推流队列长度是否超过队列容量Cap2,若超过容量则将队列首帧移除;对识别到的包含图像位置、置信度、类别和时间的关键帧信息封装成簇添加到关键事件队列;关键事件队列容量大小设置为内存大小;(c)关键事件处理线程循环监听关键事件队列,对关键图像帧进行JPG编码传送至Minio对象存储库,对包含位置、类别、置信度和时间的事件标签回传至Redis库;(d)推流线程循环监听推流队列,循环获取队列首位元素,基于RTSP推流至流媒体服务器B;步骤(b)中所述执行实例模型进行识别的具体过程如下:1)识别模块对获取的帧图像执行Resize、Letterbox和Normalization预处理操作,最终将图像修正到640*640分辨率大小;2)识别模块根据请求任务序列等待获取对应识别模型的全局排他锁,确保当前任务可用;3)调度模块并发调度GPU计算资源与模型资源到具体的执行实例上,获取实例模型;4)根据具体请求任务序列执行步骤3)获取到的实例模型,计算识别结果;5)释放对应执行实例对应的识别模型的全局排他锁;6)合并汇总多个执行实例的识别结果,并对识别结果进行级联;7)对识别结果进行非极大抑制,过滤干扰与重复样本;8)对步骤7)的结果进行目标跟踪,对每个目标分配ID;9)对步骤8)的结果进行置信度判断,若同一ID目标置信度出现大于置信度Tc阈值的差异,将该目标分配一新的身份ID;10)对步骤9)获取的事件进行过滤,对连续存在超过帧数阈值Nc的目标标记为关键事件,并对其他事件进行过滤。
全文数据:
权利要求:
百度查询: 深蓝(深圳)感知科技有限公司 一种多路视频流关键帧标记及推流方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。