买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海大学

摘要：本发明公开了一种基于递归卷积神经网络实现视线估计与注意力分析的系统，包括视线特征提取模块、视线回归模块、视线落点映射模块和注意力可视化与分析模块。还涉及一种相应的方法，在实现中，同时提取双眼表观特征和头部姿态特征，进行空间域特征融合；对于连续多帧视线特征，通过Bi‑LSTM网络层将注视行为的时序特征联合编码，完成时域特征融合，进而回归出中间帧的视线向量；还提出了一种基于单目相机的视线落点解算方法，可实时获取视线落点坐标，且不受场景限制；以底层模块提供数据支撑，在注意力可视化与分析模块，提供了丰富的实时视线追踪可视化以及相关视线参数可视化的形式。本技术方案能满足使用场景的准确性和稳定性要求，应用场景广泛。

主权项：1.一种基于递归卷积神经网络的视线估计与注意力分析的方法，其特征在于，所述的方法包括以下步骤：步骤1：进行人脸检测与人脸特征点提取；步骤2：基于获取到的人脸特征点数据与三维人脸模型，结合EPnP算法提取头部姿态特征；步骤3：基于设计的双眼特征提取网络Gaze-DenseNet在标准化特征空间中进行双眼特征提取处理；步骤4：对获取到的视线特征数据进行空间域特征融合，再进行时间域特征提取与融合，并基于融合视线特征进行三维视线回归；步骤5：构建空间几何模型并结合EPnP算法，实现三维视线向量与二维视线落点的实时转换；步骤6：将视线估计结果进行可视化与注意力分析；所述步骤1中的人脸检测与特征点提取主要包括人脸区域的检测和人脸区域中脸部特征点的检测与定位，其具体步骤为：步骤1-1：实时接收单目相机以一定频率采集的RGB图片，设定相机分辨率及拍摄角度，确保采集的图片中包含完整的用户脸部区域；步骤1-2：使用Dlib机器学习库中预训练的人脸识别模型，在接收的输入图像中检测人脸所在区域，将该区域用矩形框标注出并将人脸区域内的数据保存；步骤1-3：采用基于连续条件神经域模型的人脸特征点检测算法，定位出上一步骤中检测出的人脸区域中的脸部特征点，获取每个点的像素坐标并进行保存；所述步骤2其具体步骤为：步骤2-1：构建通用三维人脸模型MF，并在模型上建立头部坐标系，所述的三维人脸模型MF由人脸中68个特征点的三维坐标组成，且各个特征点坐标均表示在头部坐标系下，并且其位置经相机成像后与所述的步骤1-3中检测的二维特征点一一对应；步骤2-2：结合已构建的通用三维人脸模型MF,将头部坐标系视为世界坐标系，对于内参已知的相机，在已知世界坐标系中68个3D特征点及其对应的二维投影坐标情况下，转化为PnP问题进行求解；步骤2-3：针对上述PnP问题，使用EPnP算法，基于高斯-牛顿最优化的方式求解出头部的6D位姿，即包括头部坐标系相对相机坐标系的旋转矩阵R，以及头部坐标系相对相机坐标系的位移t；所述步骤3中基于双眼特征提取网络Gaze-DenseNet在标准化空间中进行双眼特征提取处理，主要包括：双眼特征提取网络模块Gaze-DenseNet的构建，特征空间标准化，双眼图像截取与预处理以及进行特征提取处理，其具体步骤为：步骤3-1：首先构建双眼图片的特征提取网络，结合本任务中小尺寸图像40×150的特点，并基于DenseNet网络的特征提取机制，设计一个轻量级双眼特征提取网络模块Gaze-DenseNet；步骤3-2：将原始图像经过特征空间标准化技术，裁剪出双眼图像并转化至标准化相机空间中：步骤3-3：将分辨率为40×150的双眼RGB图像，先进行灰度化处理，再进行直方图均衡化处理：步骤3-4：将经过预处理的双眼图像输入Gaze-DenseNet网络模块中，提取双眼表观特征，输出特征维度为58×1；所述步骤4其具体步骤为：步骤4-1：将所述的步骤2-3中的头部旋转矩阵R转化至标准化特征空间中，得到标准化空间的头部旋转矩阵Rn＝R×Rc，其中Rc为相机旋转矩阵，由步骤3-2的特征空间标准化过程获取；并将所述的头部旋转矩阵Rn进一步简化为欧拉角形式的二维头部姿态为其中hθ，分别表示头部在标准化空间的俯仰角和偏航角；步骤4-2：将单帧图像空间域中的特征提取完毕，包括双眼表观特征和头部姿态特征，并将所述的双眼表观特征和头部姿态特征以级联的方式进行融合，形成60维视线特征向量；步骤4-3：载入以第f帧为中间帧的连续的15帧图像序列，进行所述的步骤1-1至步骤4-2的处理，获取从每一帧图像提取到的标准化空间视线特征，组成时间维度的视线特征序列L＝{Lf-7，...，Lf-1，Lf，Lf+1，...，Lf+7}；步骤4-4：将所述的视线特征序列L输入包含15个记忆单元的Bi-LSTM网络层中，经时间域特征提取与融合，通过全连接层处理，回归出在标准化相机空间n中，中间帧f的视线角度其中pitch表示视线的俯仰角，yaw表示偏航角；步骤4-5.将输出的标准化空间的视线角度通过下式转化为三维视线向量进而转化至原相机空间中，即得当前帧图像对应的视线角度由此完成一帧图像的视线角度估计：

全文数据：

权利要求：

百度查询： 上海大学 基于递归卷积神经网络实现视线估计与注意力分析的系统及其方法