买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉大学

摘要：本发明公开了一种基于眼球运动的安全人脸认证方法，通过注视点序列生成、视频帧采集与筛选、人脸图像处理、注视特征提取、眼周特征提取、用户合法性验证等六大步骤，利用眼球运动可预测性触发、具有个体独特性等特点，比较用户注视点与屏幕上随机点一致性，同时验证用户独特的眼周特征，辅助现有的人脸系统抵御多种先进的攻击，实现了适用于智能手机等移动设备的快捷、低认知负荷、高安全性的安全人脸认证方法。

主权项：1.一种基于眼球运动的安全人脸认证方法，其特征在于，包括以下步骤：步骤1，注视点序列生成，即在预设的注视点序列范围内随机选取注视点序列，并在屏幕上依次显示；步骤1的具体实现过程包括以下子步骤；步骤1.1，注视点序列范围选取；从屏幕上均匀分布的若干个点中选取随机点，记为P＝{p1，p2，...，pn}，pi＝xi，yi，屏幕上显示的不同随机点之间保持一定的间隔，其中n表示选取的随机点的个数，xi是对应的i点到屏幕左边缘的垂直距离，yi是对应的i点到屏幕上边缘的垂直距离，单位是像素；步骤1.2，随机选取注视点序列；从P中随机选取K个组成注视点序列C＝{c1，c2，...，cK}，ci∈P，其中K为注视点序列的长度；步骤1.3，显示注视点序列；将步骤1.2生成的注视点序列按顺序依次在屏幕上显示，每个点持续一定时间；步骤2，视频帧采集与筛选，并将筛选后的视频帧作为待处理的图像；步骤3，人脸图像处理，包括去除非注视状态的视频过渡帧，并对处理后的视频帧提取人脸关键点，根据后续认证的需求裁剪出人眼图像；步骤4，注视点特征提取，包括构建蕴含注视信息的输入序列，搭建并训练注视点估计模型，然后利用注视点估计模型提取注视点特征；步骤4的具体实现过程如下；步骤4.1，构建输入序列，注视点估计模型的输入序列，记为sequence，包含：左眼图像Il，右眼图像Ir，人眼网格G和左右眼的眼角坐标L；其中左眼图像Il和右眼图像Ir向注视点估计模型提供双眼的眼球位置信息，人眼网格G是规格为25×25的二值掩码，向神经网络提供人眼相对于摄像头的位置信息；人眼网格G的生成过程是：首先将原始的人脸图像通过仿射变换映射为一个25×25的掩码区域，然后将人的双眼在该图像中的位置映射到该掩码区域中，并标记为1，其余非人眼区域标记为0；左右眼的眼角坐标L是一个八维向量，包含人的左右眼的内外眼角坐标，记为L＝xr1，yr1，xr2，yr2，xl1，yl1，xl2，yl2，其中xr1，yr1表示右眼外眼角在原始人脸图像中的像素坐标，类似地，xr2，yr2、xl1，yl1、xl2，yl2分别对应右眼内眼角坐标、左眼内眼角坐标、左眼外眼角坐标，它向注视点估计模型提供了人的头部姿态信息；整体的注视点估计模型的输入序列表示为sequenceIl，Ir，G，L；步骤4.2，搭建注视点估计模型，对于输入序列sequence中的左眼图像Il与右眼图像Ir，依次经过：第一卷积层CONV1，最大池化层，第二卷积层CONV2，最大池化层，第三卷积层CONV3，第四卷积层CONV4，以及全连接层FC1，得到从眼睛图像中提取出的特征向量feaI；对于输入序列sequence中的人眼网格G，依次经过两个全连接层FC2、FC3，得到从人眼网格中提取出的特征向量feaG；对于输入序列sequence中的左右眼的眼角坐标L，依次经过三个全连接层FC4、FC5、FC6，得到从眼角坐标中提取出的特征向量feaL；连接上述特征向量feaI，feaG，feaL，得到注视点估计模型的中间输出特征向量：feaIGL＝featI，featG，featL对于feaIGL，依次经过两个全连接层FC7、FC8，得到注视点估计模型最终估计的注视点坐标；步骤4.3，训练注视点估计模型，用均方误差作为模型训练过程中的损失函数，均方误差计算公式为：Lossxpre，xtrue＝xpre-xtrue2其中xtrue为屏幕上显示的随机点坐标，xpre为模型预测得到的注视点坐标，将训练数据Strain＝sequence1，sequence2，...，sequencen输入模型进行训练，其中n为训练集大小，将测试数据Sval＝sequence1，sequence2，...，sequencem输入模型进行验证，其中m为验证集大小，用来观察模型训练情况，及时调整模型相关参数；步骤4.4，提取注视特征，将预先训练好的注视点估计模型作为注视特征提取器E，将人眼正在注视的点pi对应的输入序列sequencei输入模型，其中pi属于注视点集合P，取出模型在全连接层FC7后输出的向量作为注视点特征其中与为注视点是pi时的左右眼图像，为注视点是pi时的人眼网格，为注视点是pi时的左右眼眼角坐标；步骤5，眼周特征提取，包括构建蕴含眼周特征的图像输入序列，搭建并训练眼周特征提取模型，然后利用眼周特征提取模型提取眼周特征；步骤6，用户合法性验证，包括比较每次身份验证阶段和用户注册阶段的注视点特征和眼周特征的相似度，以验证用户的合法性，当且仅当用户同时通过注视点认证和眼周认证，才将其视为合法用户；步骤6的具体实现过程如下；步骤6.1，确定判定阈值，分别计算眼周特征提取模型和注视点估计模型的等错误率EER，以能够使测试数据中超过1-EER比例的正样本通过验证的余弦相似度值作为阈值，该步骤采用余弦相似度作为衡量指标进行特征比较，余弦相似度的计算公式如下： 其中A表示第一个N维向量，B表示第二个N维向量，余弦相似度越大，表明两个特征向量越接近；步骤6.2，注视点特征相似度比较，按照步骤1中生成的注视点序列，将步骤4获取的使用者注视点特征，与合法用户注册时录入的对应注视点的特征进行比较，带入公式计算两者的余弦相似度pi表示注视点，记步骤6.1中选定的注视点认证阈值为thrE，如果则判定注视点认证通过，否则不通过；步骤6.3，眼周特征相似度比较，将步骤5获取的使用者的眼周特征与合法用户注册时录入的眼周特征进行比较，带入余弦相似度公式进行计算得到cosθperi，记步骤6.1中选定的眼周认证阈值为threperi，当cosθperithreperi时，则判定眼周认证通过，否则不通过。

全文数据：

权利要求：

百度查询： 武汉大学 一种基于眼球运动的安全人脸认证方法