买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：复旦大学义乌研究院

摘要：本发明属于深度学习视觉技术领域，具体为一种双目眼动视线估计方法。本发明是对现有基于外观的眼动视线估计方法为基础的改进，包括增加级联网络结构和引入注意力机制，引入先验视线估计作为输入；本发明首先构建一个双目眼动视线估计网路模型，用于从左眼和右眼图片提取左眼和右眼的高级语义特征；从引入的先验视线中提取语义特征；再对这些语义特征进行融合，得到最终视线估计结果；本发明引入先验视线估计，使网络更易于收敛；增加级联网络结构和引入注意力机制，使得算法能有更好泛化和稳定，提升算法性能；采用四元数的视线表示，使预测结果更具平滑性。

主权项：1.一种双目眼动视线估计方法，其特征在于，是对现有基于外观的眼动视线估计方法为基础的改进，通过增加级联网络结构和引入注意力机制，并引入先验视线估计作为输入，以提升估计性能；首先构建一个双目眼动视线估计网路模型，该模型包括：子网络子网络子网络子网络其中，子网络用于从左眼和右眼图片提取左眼和右眼的高级语义特征；子网络用于从引入的先验视线中提取语义特征；子网络用于对子网络提取得到的左眼和右眼的高级语义特征和子网络提取得到的先验视线语义特征进行融合，得到融合语义特征；子网络用于对由子网络提取得到的左眼和右眼的高级语义特征和由子网络融合得到的融合语义特征进行处理，得到最终视线估计结果；在训练阶段可以增加融合语义特征回归估计预测视线，提高融合语义特征表达能力；眼动视线估计的具体步骤如下：1把用相机拍摄的左眼图片Ileft、右眼图片Iright输入到子网络分别提取得到左眼高级语义特征Fleft、右眼高级语义特征Fright；2把先验视线Greg输入到子网络在子网络每一层都产生相应的特征输出，并作为子网络对应的网络层输入；其中：所述先验视线Greg，训练过程中以Greg＝Greg+N，及配合对同一组数据进行重复n次迭代训练过程中产生，N为由标注信息加上的噪声；具体地，以当前输出的结果作为下一次迭代训练的输入；在输入之前对先验视线Greg进行如下形式的位置编码：γGreg＝sin20πGreg,cos20πGreg,…,sin2n-1πGreg,cos2n-1πGreg用以提升网络整体泛化能力；3将步骤1输出的左眼高级语义特征Fleft、右眼高级语义特征Fright输入到子网络将步骤2中网络层输出的先验视线特征输入到子网络中对应的网络层，得到融合的语义特征Ff；4在训练时，融合语义特征Ff回归产生辅助视线结果G`reg，通过对辅助视线结果G`reg监督训练以提高融合语义特征Ff表达能力，约束语义特征Ff为更有效视线结果的高层语义表达；推理时将不进行回归产生辅助视线结果5步骤1产生的左眼高级语义特征Fleft、右眼高级语义特征Fright与步骤4产生的融合语义特征Ff输入到子网络产生最终视线估计结果Greg；其中，左眼高级语义特征Fleft、右眼高级语义特征Fright、融合语义特征Ff形成一种注意力关系，在视线空间搜索得到最终视线估计结果Greg：Greg＝softmaxFleft，FrightFf。

全文数据：

权利要求：

百度查询： 复旦大学义乌研究院 双目眼动视线估计方法