买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门市美亚柏科信息股份有限公司

摘要：本发明涉及基于视频的谈话场景异常检测方法、终端设备及存储介质，该方法中包括：S1：提取谈话人画面图像、被谈话人画面图像和全景画面图像；S2：检测全景画面图像中人数，并判断其与实际总人数的大小关系，如果大于，则发送围观异常的提醒；如果小于，则进入S3进行人员是否离位判断；如果等于，则进入S4进行人员是否肢体接触的判断。本发明可以对谈话视频中出现的人员离位、人员围观、人员接触等不合规行为进行检测，达到相对智能化的谈话视频违规检测的目的。

主权项：1.一种基于视频的谈话场景异常检测方法，其特征在于，包括以下步骤：S1：从谈话场景的视频的当前帧中提取谈话人画面图像、被谈话人画面图像和包含谈话人和被谈话人的全景画面图像；S2：检测全景画面图像中人数，并判断其与实际谈话人人数和实际被谈话人人数的总数的大小关系，如果大于，则发送围观异常的提醒，返回S1；如果小于，则进入S3；如果等于，则进入S4；S3：分别检测谈话人画面图像和被谈话人画面图像中的人数，如果谈话人画面图像中的人数小于实际谈话人人数，则发送谈话人离位的提醒，返回S1；如果被谈话人画面图像中的人数小于实际被谈话人人数，则发送被谈话人离位的提醒，返回S1；S4：通过从谈话人画面图像和被谈话人画面图像中提取的人体特征对全景画面图像中的谈话人和被谈话人进行标注；S5：对全景画面图像中谈话人和被谈话人的人体上半身关键点进行标注；标注过程包括以下步骤：S51：采集具有人体全身关键点标注的图像集组成训练集；S52：基于RSN网络构建人体全身关键点提取模型，通过训练集对人体全身关键点提取模型进行训练，将训练后的模型作为教师网络模型；S53：构建用于人体上半身关键点提取的学生网络模型，基于知识蒸馏和教师网络模型，通过训练集对学生网络模型进行训练；学生网络模型的网络结构中采用三个分支的特征金字塔模块，输入图片输入第一分支后，依次经过第一分支的6个步长为2的卷积层和2个反卷积层；从第一分支的第4个卷积层的输出中引出第二分支；第二分支依次经过一个反卷积层和两个步长为2的卷积层后，与第一分支中第6个卷积层的输出经过反卷积层后的结果进行第一次特征融合；从第二分支的第1个卷积层的输出中引出第三分支；第三分支依次经过一个反卷积层和两个步长为2的卷积层后，进行第一次上采样操作，将第一次上采样操作的结果与第一次特征融合的输出经过反卷积层后的结果进行第二次特征融合；将第二次特征融合的输出进行第二次上采样后，与第一分支中第2个反卷积层的输出进行第三次特征融合；将三次特征融合的输出经过2个步长为1的卷积层得到输入图片对应的人体上半身关键点图谱；S54：通过训练后的学生网络模型对全景画面图像中谈话人和被谈话人的人体上半身关键点进行标注；S6：将每个人标注的所有人体关键点进行连线，并判断谈话人与被谈话人对应的连线是否有交叉，如果有，则发送人员有肢体接触的提醒，返回S1；否则，直接返回S1。

全文数据：

权利要求：

百度查询： 厦门市美亚柏科信息股份有限公司 基于视频的谈话场景异常检测方法、终端设备及存储介质