买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江苏师范大学

摘要：本发明公开一种融合聚合模块的人脸疲劳动态检测方法，适用于人脸疲劳状态的视频检测领域。对采集的人脸图像进行预处理，将设计的由普通卷积和空洞卷积聚合的模块进行堆叠以提取特征；添加十字交叉注意力以提取小目标细节信息；搭建面向眼睛和嘴部特征的检测网络，使得该模型具备较好的眼睛和嘴部等小目标检测能力，以从预处理后的人脸图像中提取眼睛、嘴部的特征。利用边界框回归损失函数，添加角度、距离和形状作为惩罚项，设计角度损失为线性函数，融合眼部特征和嘴部特征判断人员的疲劳状态，设计动态调整的闭眼时长指标来提高疲劳判别的实时性。本方法疲劳状态检测准确度高，训练时间成本低，实时性良好，能减少疲劳引起的事故发生。

主权项：1.融合聚合模块的人脸疲劳动态检测方法，其特征在于步骤如下：步骤S1：使用摄像装置按照固定帧率实时采集人脸图像；步骤S2：对采集到的人脸图像进行预处理，降低光线不佳的图像和噪声对检测结果的影响；步骤S3：构建人脸疲劳动态检测网络，包括特顺序连接的征提取网络、特征融合网络以及检测端；特征提取网络包括卷积层CBL、最大池化层MP、ELAN-Dilated模块；在特征提取网络和特征融合网络之间还包括十字交叉注意力模块CCNet；特征融合网络和检测端包括YOLOv7-tiny网络Neck和Head部分的结构；其中，ELAN-Dilated模块包括普通卷积层CBL和空洞卷积层堆叠聚合的结构；所述特征提取网络包括顺序连接的两个卷积层CBL、四个ELAN-Dilated模块以及十字交叉注意力网络CCNet，在ELAN-Dilated模块之间设置最大池化层MP；ELAN-Dilated包括两条分支，第一条分支经过一个1×1的卷积进行通道数的变化，第二条分支先经过一个1×1的卷积进行通道数的变化，再经过两个大小为3×3，空洞率依次为2和5的空洞卷积，进行特征提取，最后将模块每个卷积层的特征堆叠，并再次用一个1×1的卷积进行通道数的变化；其中：两个卷积层CBL对人脸图像进行粗略的特征提取，包括加强边缘特征、抑制部分噪声；四个ELAN-Dilated模块由浅入深提取眼睛和嘴部的特征；最大池化层MP用来压缩眼睛和嘴部的特征参数以及降低维度，减少计算量；十字交叉注意力模块CCNet用来通过获取眼睛和嘴部及其周围丰富的上下文信息，更加高效地提取眼睛和嘴部特征；步骤S4：使用经过充分训练后的人脸疲劳动态检测网络提取经过预处理的人脸图像中每帧人脸图片眼睛和嘴部特征，包括睁眼、闭眼、打哈欠、不打哈欠；步骤S5：以摄像装置采集人脸图像的固定帧率为基准，根据人脸疲劳动态检测网络提取每帧人脸图片眼睛和嘴部特征，计算闭眼时长、闭眼时长占比PERCLOS值和打哈欠时间间隔；步骤S6：通过融合闭眼时长、闭眼时长占比PERCLOS值和打哈欠时间间隔进行疲劳状态分析，输出所述疲劳状态分析结果。

全文数据：

权利要求：

百度查询： 江苏师范大学 融合聚合模块的人脸疲劳动态检测方法