买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南通大学

摘要：本发明属于计算机视觉领域，具体涉及一种基于局部超分辨率融合注意力机制的视线估计方法。包括如下步骤：步骤S1、使用摄像头获取帧图像；步骤S2、采用人脸检测模型对人脸区域和双眼区域进行检测和定位，将人脸图像进行裁剪，并截取眼部图像；步骤S3、将人脸图像通过人脸注意力强化特征提取模块，强化并提取人脸图像特征；步骤S4、将双眼图像通过基于局部超分辨率的眼部特征提取模块,提取双眼图像特征；步骤S5、通过全连接层融合提取的人脸图像和双眼图像特征得到视线估计结果。本发明提取超分辨率后的眼部特征，进行准确地视线估计，从空间和通道两个方向增强低分辨率全局特征，以增加低分辨率环境下提取人脸特征的能力，提升视线估计的效果。

主权项：1.一种基于局部超分辨率融合注意力机制的视线估计方法，其特征在于，包括如下步骤：步骤S1、使用摄像头获取帧图像；步骤S2、采用人脸检测模型对人脸区域和双眼区域进行检测和定位，将人脸图像进行裁剪，并截取眼部图像；步骤S3、将人脸图像通过人脸注意力强化特征提取模块，强化并提取人脸图像特征；步骤S4、将双眼图像通过基于局部超分辨率的眼部特征提取模块,提取双眼图像特征；步骤S5、通过全连接层融合提取的人脸图像和双眼图像特征得到视线估计结果；步骤S3中，所述人脸注意力强化特征提取模块，采用ResNet18模型作为脸部特征提取模块的基准模型，对于每个标准的残差块，公式如下所示：Fout＝lfFin,Wi+Fin1其中，l表示ReLU激活函数，f是残差块中的权重操作，W是该操作的权重，Fin是残差块的输入，Fout表示残差块的输出；步骤S4中，所述基于局部超分辨率的眼部特征提取模块，采用FSRCNN作为超分辨率重建的网络；FSRCNN算法主要分为特征提取、收缩与扩展、反卷积三部分；第一部分为特征提取，该特征提取部分使用较小的卷积核，大小为5×5，从低分辨率的眼部图像中提取特征，特征提取阶段表示的公式如下： 其中，ILR表示低分辨率眼部图像，PRELU表示PreLU激活函数，d表示特征图的数量；第二部分为收缩与扩展，其中收缩阶段使用1×1的卷积核，以减少特征映射的数量，映射阶段是在收缩后的特征空间上进行非线性映射，通过多个连续的3×3卷积层实现，其中特征映射阶段表示的公式如下： 第三部分是反卷积，使用反卷积层来扩大特征映射的空间尺寸，将低分辨率的特征映射转换为高分辨率图像的特征图，公式如下所示：FSR＝DeConv9×9F9其中，DeConv表示反卷积操作。

全文数据：

权利要求：

百度查询： 南通大学 一种基于局部超分辨率融合注意力机制的视线估计方法