买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本申请公开了一种面部动作检测方法、装置及系统，属于视频监控技术领域。所述方法包括：获取与当前视频片段关联的多张彩色人脸图像和对应的深度人脸图像，基于多张彩色人脸图像和对应的深度人脸图像，通过目标网络模型确定目标的面部动作，当确定目标的面部动作属于异常动作时，获取目标视频数据，目标视频数据包括当前视频片段和或属于异常动作的面部动作对应的视频图像。本申请通过目标网络模型自动确定任一视频片段中的面部动作，及该面部动作是否属于异常动作，从而定位存在异常动作的目标视频数据，避免需要人工对多个视频片段进行排查，所以，提高了确定异常行为的视频片段的效率。

主权项：1.一种面部动作检测方法，其特征在于，所述方法包括：提供用户交互界面；确定用户通过所述用户交互界面指定的目标；获取与当前视频片段关联且包括所述目标的多张彩色视频图像和对应的深度视频图像，其中，所述当前视频片段为当前实时拍摄的任一视频片段，或者，所述当前视频片段为预先存储的多个视频片段中的任一视频片段；分别对获取的多张彩色视频图像和对应的深度视频图像进行人脸检测；根据人脸检测结果，从所述多张彩色视频图像和对应的深度视频图像中，确定多张人脸彩色区域图像和对应的人脸深度区域图像；将所述多张人脸彩色区域图像和对应的人脸深度区域图像确定为所述多张彩色人脸图像和对应的深度人脸图像；对于每张彩色人脸图像和对应的深度人脸图像，将所述彩色人脸图像和对应的深度人脸图像输入特征融合网络，通过所述特征融合网络对所述彩色人脸图像和对应的深度人脸图像进行卷积操作，提取所述彩色人脸图像的彩色特征和所述深度人脸图像的深度特征，对所述彩色特征和所述深度特征进行连接操作，由全连接层对连接后的彩色特征选取所述彩色人脸图像中眼睛、嘴、眉毛的彩色特征作为第一关键特征，对连接后的深度特征选取所述深度人脸图像中眼睛、嘴、眉毛的深度特征作为第二关键特征，并将所述第一关键特征和所述第二关键特征融合，将所述多张人脸图像分别对应的融合特征输入多帧分析网络，通过所述多帧分析网络通过对面部运动单元进行分析，得到所述目标的面部动作，其中，所述面部运动单元用于指示眼睛、嘴、眉毛的动作；当确定所述目标的面部动作属于异常动作时，获取目标视频数据，所述目标视频数据包括所述当前视频片段和或属于异常动作的面部动作对应的视频图像；从包括所述目标的其他视频片段中，提取所述面部动作对应的视频子片段或者，提取所述面部动作所属的动作类别分别对应的视频子片段，在提取的每个视频子片段中添加所述视频子片段对应的图像信息，所述视频子片段对应的图像信息包括拍摄所述视频子片段的摄像头的位置；根据所述目标视频数据和所提取的视频子片段的拍摄时间，和或，所述目标视频数据和所提取的视频子片段的图像帧号，将所述目标视频数据和所提取的视频子片段合成视频；播放合成的视频。

全文数据：

权利要求：

百度查询： 杭州海康威视数字技术股份有限公司 面部动作检测方法、装置及系统