买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江工商大学申请的专利基于面部表情与上下文情境的学业情绪识别方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119919986B 。

龙图腾网通过国家知识产权局官网在2026-03-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510426941.X，技术领域涉及：G06V40/16；该发明授权基于面部表情与上下文情境的学业情绪识别方法及装置是由杨文武;赵露明设计研发完成，并于2025-04-07向国家知识产权局提交的专利申请。

本基于面部表情与上下文情境的学业情绪识别方法及装置在说明书摘要公布了：本发明公开了一种基于面部表情与上下文情境的学业情绪识别方法及装置。该方法通过利用视觉语言预训练模型CLIP，结合视频序列中的学生面部表情与学习情境的上下文信息，实现精准的情绪建模。具体而言，本发明首先对人脸表情和学习情景中的上下文信息进行协同建模，显著提升了识别学生学习状态如专注学习、分心的能力；其次，通过利用CLIP预训练模型强大的语言与视觉特征对齐能力，有效降低了对大规模视频训练数据的依赖，提高了模型的泛化能力和实用性。本发明为学业情绪识别提供了一种精准可行的解决方案，适用于教育场景中的学生学业情绪的监测与分析。

本发明授权基于面部表情与上下文情境的学业情绪识别方法及装置在权利要求书中公布了：1.一种基于面部表情与上下文情境的学业情绪识别方法，其特征在于，该方法包括如下步骤： S1、从视频帧中分割出人脸区域生成人脸表情帧，原始视频帧作为上下文信息帧，构建包含人脸表情和上下文的情绪类别文本描述，得到学业情绪视频数据集； S2、构建基于面部表情与上下文情境的学业情绪识别模型，所述模型首先分别对输入视频中的人脸表情帧和上下文信息帧提取空间特征，并通过融合空间特征与时序信息生成统一的视觉特征令牌，网络利用文本描述输入文本编码器，提取对应情绪类别的文本特征令牌，最后，通过计算视觉特征令牌与每个情绪类别文本特征令牌之间的余弦相似度，并对相似度进行归一化处理，生成所有情绪类别的概率分布，最终完成学业情绪的分类； 所述基于面部表情与上下文情境的学业情绪识别模型包括：CLIP视觉编码器、时间关系学习模块、视觉特征融合模块、CLIP文本编码器和特征对齐模块； 所述CLIP视觉编码器包含一个2D卷积块和12个Transformer层，输入人脸表情图像序列和上下文信息图像；得到人脸特征和上下文特征； 所述时间关系学习模块包含两个结构相同的时间学习单元，分别用于对人脸特征和上下文特征进行独立的时序建模，记作人脸时间建模模块和上下文时间建模模块，分别用于对人脸特征和上下文特征进行独立的时序建模，每个时间学习单元由一个Transformer层组成，分别得到融合了时序信息的人脸特征和上下文特征； 所述视觉特征融合模块包含一个全连接层；将融合了时间信息的人脸特征与上下文特征拼接、调整特征维度并实现对齐得到视觉特征令牌； 所述CLIP文本编码器包含12个Transformer层，输入各个类别的文本描述得到每个类别文本特征令牌； 所述特征对齐模块通过计算视觉特征令牌与每个类别文本特征令牌的余弦相似度，实现跨模态空间对齐，余弦相似度最高的文本特征对应的视频学业情绪类别即为最终识别结果； 所述时间关系学习模块的处理流程包括： 对于由CLIP视觉编码器提取的人脸表情特征令牌序列首先引入一个随机初始化的可学习类别令牌，其维度与CLIP视觉编码器输出的特征令牌相同，用于表示具有时序信息的整体人脸视频特征，类别令牌与所有帧的人脸特征令牌一起构成输入序列其中ff表示类别令牌，该序列被输入到人脸时间建模模块，通过Transformer的时序建模捕捉帧间的动态关系和全局时序依赖性，在此过程中，类别令牌通过自注意力机制与序列中的其他特征令牌交互，其权重会在训练过程中不断更新： 最终，更新后的类别令牌融合了所有帧的时间信息，作为完整人脸视频的时间特征表示，其中S-ATT表示自注意力机制； 对于上下文特征令牌序列引入一个随机初始化的可学习类别令牌fc，与上下文特征令牌序列拼接为一同输入到上下文时间建模模块，利用Transformer学习上下文帧之间的动态关系和时间依赖性； 最终，更新后的类别令牌作为上下文时间特征的表示，用于表征具有时间信息的上下文特征； S3、通过分类损失函数和学业情绪视频数据集对基于面部表情与上下文情境的学业情绪识别网络进行约束和优化，完成网络训练，生成最终的基于面部表情与上下文情境的学业情绪识别模型； S4、基于训练完成的基于面部表情与上下文情境的学业情绪识别模型，对输入的视频片段进行分析，识别学生的学业情绪类别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江工商大学，其通讯地址为：310018 浙江省杭州市西湖区教工路149号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。