买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江大学申请的专利一种多模态三维视觉注意力预测方法及其应用获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114170537B 。

龙图腾网通过国家知识产权局官网在2025-05-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111465974.3，技术领域涉及：G06V20/20；该发明授权一种多模态三维视觉注意力预测方法及其应用是由厉向东;吴玥;单逸飞;阴凯琳;姚佳怡;沈思扬设计研发完成，并于2021-12-03向国家知识产权局提交的专利申请。

本一种多模态三维视觉注意力预测方法及其应用在说明书摘要公布了：本发明公开了一种多模态三维视觉注意力预测方法，包括以下步骤，1样本数据和样本标签采集、2样本数据预处理、3多模态视觉注意力模型构建、4训练多模态视觉注意力模型、5预测用户在浏览画面时的注意力；其中，多模态视觉注意力模型包括注意力长短期记忆人工模块、残差全连接卷积网络模块以及融合模块，残差全连接卷积网络模块中包括特征提取模块、最大池化模块和平均池化模块。本发明通过多模态融合技术综合利用眼动和头部运动多个模态的数据，提高视觉注意力预测的准确度，本发明预测方法可用于定位视觉兴趣区域和视觉搜索路径、评估空间信息布局，提高了评估效率，节约了评估成本。

本发明授权一种多模态三维视觉注意力预测方法及其应用在权利要求书中公布了：1.一种多模态三维视觉注意力预测方法，包括以下步骤：（1）采集用户的浏览画面，并记录浏览画面时的用户转头速度、用户转头方向以及视觉注视点，其中，浏览画面、用户转头速度以及用户转头方向作为样本数据，视觉注视点作为样本标签；（2）对样本数据进行预处理，所述的预处理步骤为：利用预训练的球面卷积模型提取样本数据的二维特征后，对二维特征依次进行时间戳对齐、数据补漏、噪声清洗、归一化处理，得到预处理后的样本数据；预处理后的样本数据包括头动样本数据和画面样本数据；所述的球面卷积模型使用广义傅里叶变换将样本数据投影到谱域，经过卷积后，再通过逆傅里叶变换投影得到样本数据的二维特征；（3）构建包括注意力长短期记忆人工模块、残差全连接卷积网络模块以及融合模块的多模态视觉注意力模型；其中，将头动样本数据输入至注意力长短期记忆人工模块提取得到行为特征，将画面样本数据输入至残差全连接卷积网络模块提取得到视觉特征，行为特征和视觉特征经融合模块融合后预测注意力位置；所述的残差全连接卷积网络模块中，包括特征提取模块、最大池化模块和平均池化模块；画面样本数据经特征提取模块提取特征后，得到的特征分别输入至最大池化模块和平均池化模块，经最大池化操作后输出第一视觉特征，经平均池化操作后输出第二视觉特征，第一视觉特征和第二视觉特征拼接后得到视觉特征；所述特征提取模块包括多个block模块和球卷积层，block模块用于提取画面样本数据的特征，球卷积层用于对block模块得到的特征进行处理；注意力长短期记忆人工模块整合了注意力机制，计算当前输入序列和注视点坐标之间的匹配程度；注意力长短期记忆人工模块中，预处理后的头动样本数据经过计算得到隐藏层变量hj，隐藏层变量hj对应的总权重Ct为：；其中，Tx为每个样本数据的总时长，αtj是隐藏层变量hj的对应权重，αtj的计算公式为：；etj是时间t的输出与时间j的输入之间的匹配度，，g可被视为全连接的子网络，用于学习特征再模型中的新表示，St-1是时间t-1时注意力长短期记忆人工模块的输出；（4）利用预处理后样本数据对多模态视觉注意力模型在样本标签的监督下进行训练，以优化多模态视觉注意力模型参数；（5）利用参数优化的多模态视觉注意力模型预测用户在浏览画面时的注意力并显示。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。