买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中网华信科技股份有限公司

摘要：本发明涉及井下安全控制领域，公开了一种基于音视频的智能AI安全控制系统，包括：音视频采集设备，用于采集作业音视频数据；安全控制后台，用于对作业标准结构化文件和作业音视频数据进行解析，并生成风险排查方案、音频数据和视频帧组，确定每个视频帧对应的实际拍摄方位；根据实际拍摄方位进行视频帧融合，得到融合视频帧组和实际拍摄方位组，并进行匹配，若匹配拍摄方位数量小于匹配数量阈值，则进行补充图像采集，得到补充采集图像组，计算实际拍摄图像组与标准操作图像组的平均图像匹配度，若大于或等于图像匹配度阈值，则生成风险排查结果信息。由此，针对井下工人是否按照标准化作业流程进行操作提供了有效的监控和控制方案。

主权项：1.一种基于音视频的智能AI安全控制系统，其特征在于，包括：多个音视频采集设备，所述多个音视频采集设备设置于井下多个风险作业场所，每个音视频采集设备用于采集对应的风险作业场所的作业音视频数据并发送至安全控制后台；安全控制后台，用于接收所述多个音视频采集设备中每个音视频采集设备发送的作业音视频数据；获取每个风险作业场所对应的作业标准结构化文件并进行解析，得到每个风险作业场所对应的风险评级和作业标准信息，所述作业标准信息包括标准操作图像组，所述标准操作图像组中的每个标准操作图像对应一个图像拍摄方位，所述标准操作图像组中的各个标准操作图像分别对应的图像拍摄方位组成图像拍摄方位组；所述安全控制后台还用于根据所述风险评级，生成每个风险作业场所对应的风险排查方案，所述风险排查方案包括图像匹配度阈值和匹配数量阈值；对于每个风险作业场所的作业音视频数据进行解析，得到对应的音频数据和视频帧组，将所述视频帧组中每个视频帧输入拍摄方位识别网络，得到所述视频帧组中每个视频帧对应的实际拍摄方位；将所述视频帧组中实际拍摄方位相同的多个视频帧进行融合，得到融合视频帧组，所述融合视频帧组中各个视频帧分别对应的实际拍摄方位组成实际拍摄方位组；将所述实际拍摄方位组与所述图像拍摄方位组进行匹配，得到匹配拍摄方位数量，若所述匹配拍摄方位数量小于所述匹配数量阈值，则生成补充采集信息，所述补充采集信息中包括井下工人标识、补充拍摄方位信息，将所述补充采集信息进行语音合成，得到补充采集语音并将所述补充采集语音发送至对应的风险作业场所的音视频采集设备，以使所述音视频采集设备对所述补充采集语音进行播放，以提示所述井下工人标识所对应的井下工人根据所述补充拍摄方位信息进行补充图像采集，得到补充采集图像组，所述补充采集图像组和所述融合视频帧组组成实际拍摄图像组，将所述实际拍摄图像组与所述标准操作图像组进行平均图像匹配度计算，得到平均图像匹配度，若所述平均图像匹配度大于或等于图像匹配度阈值，则生成表征井下工人已按照标准化作业流程进行操作的风险排查结果信息；所述每个标准操作图像对应有校验位置信息，所述平均图像匹配度是通过以下步骤生成的：将所述实际拍摄图像组与所述标准操作图像组中拍摄方位相匹配的两个图像组成匹配图像组，得到匹配图像组集，每个匹配图像组包括一个实际拍摄图像和一个标准操作图像；对于每个匹配图像组，根据标准操作图像对应的校验位置信息进行图像分割，得到实际拍摄图像对应的第一分割区域和标准操作图像对应的第二分割区域；计算所述第一分割区域和第二分割区域的匹配度，得到每个匹配图像组的图像匹配度，对所述匹配图像组集中各个匹配图像组的图像匹配度进行均值计算，得到平均图像匹配度。

全文数据：

权利要求：

百度查询： 中网华信科技股份有限公司 一种基于音视频的智能AI安全控制系统