买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深蓝(深圳)感知科技有限公司

摘要：本发明属于无人机巡检及视频处理技术领域，公开了一种多路视频流关键帧标记及推流方法。包括如下步骤：无人机采集视频信号并主动推流到流媒体服务器A；算法平台主动拉取视频流，对视频流进行处理，根据指定的任务ID执行对应检测模型、捕获关键事件、封装新的结果视频帧，然后推流至流媒体服务器B；同时，算法平台对视频流进行处理时捕获关键图像帧及关键事件，并将关键图像帧推送至对象存储服务器保存，关键事件对应的识别过程数据保存至业务库备份；用户根据需求实时拉取流媒体服务器B的检测结果视频。本发明方法能够多线程的拉流、识别与推流，并能有效识别关键事件及过滤干扰事件，显著提高数据传输效率和提升推流实时性。

主权项：1.一种多路视频流关键帧标记及推流方法，其特征在于，包括如下步骤：（1）无人机通过图像采集卡采集视频信号，并主动将采集的视频信号推流到流媒体服务器A；（2）算法平台通过流媒体管道A从后端处理平台主动拉取视频流，对视频流进行处理，视频流处理过程包括根据指定的任务ID执行对应检测模型、捕获关键事件、封装新的结果视频帧，然后将检测结果视频帧通过流媒体管道B推流至流媒体服务器B；同时，算法平台对视频流进行处理时捕获关键图像帧以及关键事件，并将关键图像帧推送至对象存储服务器保存，关键事件对应的识别过程数据保存至业务库备份；（3）用户根据需求实时通过后端处理平台拉取流媒体服务器B的检测结果视频；步骤（2）中所述视频流处理过程包括如下步骤：I、启动算法平台，算法平台从硬盘加载推理模型到不同的GPU硬件，并为每个推理模型初始化全局排他锁；II、后端处理平台根据用户请求，传递请求任务序列[0,1,2,…]到算法平台；III、算法平台处理请求，开始从流媒体服务器A拉取视频流；IV、算法平台执行视频流处理单元，循环获取当前待处理图像帧，对获取的帧图像执行识别模块，获得关键事件当前帧截图与识别事件标签进行封装，然后实时推流回流媒体服务器B；所述识别事件标签包括事件所处图像位置、类别、置信度和时间；步骤IV的具体过程如下：A、根据外部请求，算法平台主线程执行视频流处理单元，对拉取视频流进行处理与推流；B、主线程启动四个非阻塞独立子线程：拉流线程、检测跟踪处理线程、关键事件处理线程和推流线程；四个子线程独立运行并共享主线程资源，通过设置主动循环标签，确定子线程结束条件；具体步骤如下：（a）拉流线程根据平台传递的RTSP地址使用FFmpeg拉取流媒体，并将图像帧存储于视频流队列，并设置自增索引i代表当前视频帧位置；每次添加图像帧后判断当前队列长度是否超过队列容量Cap1，若超过则将队列首帧移除；（b）检测跟踪处理线程循环监听视频流队列，当视频流队列具有图像帧信息时，不断消费队列执行实例模型进行识别；对当前图像帧识别后的结果进行图像重绘，将关键信息标记于原始帧图像并添加至推流队列；添加结果帧到队列后判断推流队列长度是否超过队列容量Cap2，若超过容量则将队列首帧移除；对识别到的包含图像位置、置信度、类别和时间的关键帧信息封装成簇添加到关键事件队列；关键事件队列容量大小设置为内存大小；（c）关键事件处理线程循环监听关键事件队列，对关键图像帧进行JPG编码传送至Minio对象存储库，对包含位置、类别、置信度和时间的事件标签回传至Redis库；（d）推流线程循环监听推流队列，循环获取队列首位元素，基于RTSP推流至流媒体服务器B；步骤（b）中所述执行实例模型进行识别的具体过程如下：1）识别模块对获取的帧图像执行Resize、Letterbox和Normalization预处理操作，最终将图像修正到640*640分辨率大小；2）识别模块根据请求任务序列等待获取对应识别模型的全局排他锁，确保当前任务可用；3）调度模块并发调度GPU计算资源与模型资源到具体的执行实例上，获取实例模型；4）根据具体请求任务序列执行步骤3）获取到的实例模型，计算识别结果；5）释放对应执行实例对应的识别模型的全局排他锁；6）合并汇总多个执行实例的识别结果，并对识别结果进行级联；7）对识别结果进行非极大抑制，过滤干扰与重复样本；8）对步骤7）的结果进行目标跟踪，对每个目标分配ID；9）对步骤8）的结果进行置信度判断，若同一ID目标置信度出现大于置信度Tc阈值的差异，将该目标分配一新的身份ID；10）对步骤9）获取的事件进行过滤，对连续存在超过帧数阈值Nc的目标标记为关键事件，并对其他事件进行过滤。

全文数据：

权利要求：

百度查询： 深蓝(深圳)感知科技有限公司 一种多路视频流关键帧标记及推流方法