买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江工业大学

摘要：一种基于视线估计的交互式双眼视功能训练系统，属于视觉训练技术领域，包括光学系统和处理控制系统，光学系统是指对称布局的左眼弱视光路和右眼弱视光路；左眼弱视光路包括以此依次连接的左侧红外光源、左侧红蓝色滤光片、偏振片和红外摄像头；右眼弱视光路包括以此依次连接的右侧红外光源、右侧红蓝色滤光片、偏振片和红外摄像头；所述左、右弱视光路最终通过的偏振片为同一个偏振片，接收的红外摄像头为同一个红外摄像头；所述处理控制系统包括电脑显示器、双眼视功能训练模块、人眼注视点预测模块和优势眼抑制模块。以及提供一种基于视线估计的交互式双眼视功能训练方法。本发明结合实时视线估计技术，提高用户训练的效果和适配度。

主权项：1.一种基于视线估计的交互式双眼视功能训练系统，其特征在于，所述系统包括光学系统和处理控制系统，所述光学系统是指对称布局的左眼弱视光路和右眼弱视光路；所述左眼弱视光路包括以此依次连接的左侧红外光源、左侧红蓝色滤光片、偏振片和红外摄像头；所述右眼弱视光路包括以此依次连接的右侧红外光源、右侧红蓝色滤光片、偏振片和红外摄像头；左、右弱视光路最终通过的偏振片为同一个偏振片，接收的红外摄像头为同一个红外摄像头；所述处理控制系统包括电脑显示器、双眼视功能训练模块、人眼注视点预测模块和优势眼抑制模块，所述电脑显示器与左侧红外光源、右侧红外光源及红外摄像头连接，所述双眼视功能训练模块包括针对电脑显示器为终端显示设备的三级视功能训练游戏；所述人眼注视点预测模块对红外摄像头获取的人脸部姿态图像进行存储、双眼及面部图像分割和分析得出注视点预测坐标，同时与双眼视功能训练模块进行多软件交互；所述优势眼抑制模块包括遮挡模型的生成和实时显示，所述的遮挡模型的生成是指利用三维建模软件生成虚拟遮挡模型；所述的遮挡模型的实时显示是指在基于视线估计的深度学习神经网络输出的用户注视点坐标位置上叠加显示虚拟遮挡模型，且仅叠加显示在预设的优势眼终端显示设备上；所述的人眼注视点预测模块包括深度学习神经网络，所述的深度学习神经网络是基于视线估计的深度学习神经网络模型的基础上，通过更改数据的加载方式以及坐标生成方式改进训练的：通过调用红外摄像头获取用户当前的注视信息，实时预测注视点坐标数据；所述的红外摄像头在以针对电脑屏幕为终端显示设备的系统中处于电脑屏幕中心最上侧位置，其获取的用户实时注视信息为：双眼位置和人脸姿态信息，通过对左眼、右眼和人脸信息的图片做特征提取，然后利用全连接层回归实现注视点的预测，同时以人脸姿态信息作为监督信息对眼部特征进行重新校准，改进之后可通过直接调用摄像头达到实时生成预测点坐标的效果；通过将人脸图像、左眼图像、右眼图像以及人脸相对于图片的位置输入到注视点预测模型最后得到预测点，首先将与输入至得到输出的特征向量和； ； ； 然后将左眼与右眼的特征向量进行连接， ；并在最后通过全连接层进行处理， ；对于人脸图像的特征提取，采用将人脸图像输入到中， ；同样的对于人脸相对于图片的位置，将其输入到中， ；整合、与包含的所有数据信息通过全连接层预测，得到实时注视点的标准坐标， ；式中，、与分别是左眼图像和右眼图像、人脸图像以及人脸相对于图片的位置通过各自的网络模型后得到的输出。

全文数据：

权利要求：

百度查询： 浙江工业大学 一种基于视线估计的交互式双眼视功能训练系统及方法