买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安电子科技大学

摘要：本发明公开了一种基于注视点预测模型的驾驶员注视点预测方法，主要解决现有技术不能有效提取视频中的全局与局部特征，导致注视点预测不准确的问题。其方案是：读取基于真实道路场景的驾驶员眼动视频数据构成训练集和测试集，并对其进行光照修正；设置视觉时空注意力层，构建基于注视点预测模型的驾驶员眼动注视点预测模型；将训练集输入到构建的预测模型中，得到训练集图像的初步预测结果；用初步预测结果和注视点真实值图像计算损失值，利用梯度下降法对眼动注视点预测模型进行网络参数更新，得到训练好的注视点预测模型；将测试集输入到训练好的预测模型中，得到其注视点预测结果。本发明相比现有技术提高了预测精度，可用于智能驾驶辅助系统。

主权项：1.一种基于注视点预测模型的驾驶员注视点预测方法，特征在于，包括如下步骤：1采集不同驾驶员在不同场景、时间、天气的行车驾驶视频，并让驾驶员用眼动仪测试对应的视频数据得到预测点的真实值视频，将采集的原始视频和真实值视频一一对应打包，按照4∶1的比例分为训练集和测试集；2构建注视点预测模型D：2a将视频中的每张图像分解为相同大小的若干个小块，并将这些图像小块排成序列，再将序列中的每个图像小块编码成包含每个时刻位置信息的特征向量a：2b根据特征向量a，计算得到最适合查找注视点区域的查询向量Q和提升查找注视点区域准确率的键向量K：Q＝WQa，K＝WKa其中，WQ、WK分别为查询向量Q和键向量K的权重系数；2c根据查询向量Q、键向量K计算特征向量a的注意力AttentionQ，K： 其中，表示视频中第n张图像的第t个图像小块的编码向量在s位置处的查询向量， 表示视频中第n张图像的第i个图像小块的编码向量在s位置处的键向量， 表示视频中第n张图像的第t个图像小块的编码向量在s位置处的键向量， 表示视频中第n′张图像的第t′个图像小块的编码向量在s位置处的键向量，N表示视频中图像的总数，T表示每幅图像中的图像块数目，n表示视频中的第n张图像，t表示每幅图像的第t个图像小块，s表示编码特征向量的位置，t′表示对应时间邻域上的邻接图像小块集合，其中w∈{-1，0，1}，b∈{-1，0，1}；2d将现有视觉注意力模型Vit-T2T中视觉注意力层的计算部分替换为2c中设计的注意力计算公式AttentionQ，K，构成视觉时空注意力层，得到新建注视点预测模型D；3对训练集进行光照修正：3a计算训练集视频中第i幅图像F的平均光照度PMI，并根据平均光照度PMI计算动态序列的平均光照值ASI；3b设置图像平均光照强度PMI的最低阈值系数λ1＝0.5，最高阈值系数λ2＝1.5，按照如下条件选择图像F最终的光照强度U： 3c设置图像F的光照强度为U，得到修改光照强度的图像F′，再利用Retinex算法调整图像F′的亮度，得到光照修正图像F″：F″＝RetinexF′；4将全部光照修正图像F″送入构建的注视点预测模型D，采用梯度下降法对其进行训练，得到训练好的注视点预测模型；5对测试集按照与步骤3相同的方法进行光照修正；6将光照修正的测试集送入训练好的注视点预测模型，得到预测的注视点图像。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于注视点预测模型的驾驶员注视点预测方法