买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：河北工业大学

摘要：本发明公开了基于文本信息的细粒度人眼视线估计方法，视线估计模型分为面部粗粒度特征提取和眼部细粒度特征提取两部分；面部粗粒度特征提取部分包括改进的CLIP模块和Transformer编码器，眼部细粒度特征提取部分包括特征提取网络、通道注意力模块和混合条纹池化块；面部图像输入到改进的CLIP模块中，提取反映大致视线方向的文本信息；反映大致视线方向的文本信息输入到Transformer编码器中，得到面部粗粒度特征；眼部细粒度特征提取部分包括特征提取网络、通道注意力模块和混合条纹池化块；左、右眼图像经过特征提取网络得到左、右眼特征，通道注意力模块赋予左、右眼特征通道注意力权重，进而得到眼部细粒度特征；混合条纹池化块用于眼部细粒度特征的降维处理；最后，将面部粗粒度特征与眼部细粒度特征进行融合，得到视线估计向量。充分发挥文本信息引导在上下文信息表征方面的优势，实现了两种粒度特征的有效融合，提高了估计精度。

主权项：1.一种基于文本信息的细粒度人眼视线估计方法，其特征在于，该方法包括以下步骤：第一步：获取人脸图像，对人脸图像进行预处理，得到面部图像和左、右眼图像；第二步：搭建视线估计模型；所述视线估计模型分为面部粗粒度特征提取和眼部细粒度特征提取两部分；面部粗粒度特征提取部分包括改进的CLIP模块和Transformer编码器，眼部细粒度特征提取部分包括特征提取网络、通道注意力模块和混合条纹池化块；所述改进的CLIP模块包含两个文本编码器和一个视觉编码器；将视线方向分为两组，第一组包含“上、下、前”三个方向，第二组包含“左、右、前”三个方向；为面部图像预定义两种语义提示文本，一种语义提示文本包含的视线方向为第一组视线方向中的一种，另一种语义提示文本包含的视线方向为第二组视线方向中的一种，故每种语义提示文本包含三个含有不同视线方向的语义提示文本；将两种语义提示文本分别输入到两个文本编码器中，得到两组文本特征；面部图像经过视觉编码器进行特征提取，得到面部特征；计算面部特征与各个文本特征的余弦相似度，从两组文本特征中选取余弦相似度最大的文本特征，将两个余弦相似度最大的文本特征对应的语义提示文本输入到Transformer编码器中进行特征提取，得到面部粗粒度特征；左、右眼图像分别经过特征提取网络，得到左、右眼特征；左、右眼特征分别经过通道注意力模块，得到各自的通道注意力权重向量；将两个通道注意力权重向量分别与左、右眼特征在通道维度上进行逐元素相乘后再进行拼接，得到眼部细粒度特征；眼部细粒度特征经过混合条纹池化块筛选关键特征信息，得到降维后的眼部细粒度特征；面部粗粒度特征依次经过线性层和Sigmod激活函数，得到面部视线概率向量；同时，降维后的眼部细粒度特征经过全连接层，得到眼部细粒度特征向量；将面部视线概率向量与眼部细粒度特征向量进行逐元素相乘后，再与眼部细粒度特征向量进行相加，得到视线估计向量；第三步：对视线估计模型进行训练，将训练后的视线估计模型用于人眼视线估计。

全文数据：

权利要求：

百度查询： 河北工业大学 一种基于文本信息的细粒度人眼视线估计方法