恭喜浙江师范大学;杭州海康威视数字技术股份有限公司黄昌勤获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜浙江师范大学;杭州海康威视数字技术股份有限公司申请的专利基于多模态动态记忆大模型的学生情感分析方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119323818B 。
龙图腾网通过国家知识产权局官网在2025-04-08发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411878512.8,技术领域涉及:G06V40/16;该发明授权基于多模态动态记忆大模型的学生情感分析方法及系统是由黄昌勤;苏一飞;蒋云良;朱雁来;蒋凡设计研发完成,并于2024-12-19向国家知识产权局提交的专利申请。
本基于多模态动态记忆大模型的学生情感分析方法及系统在说明书摘要公布了:本发明公开了一种基于多模态动态记忆大模型的学生情感分析方法及系统,属于多模态情感分析领域。本发明的方法首先获取不同学生观看在线教育课程时的面部表情图像及其对应的真实情感状态类别标签,构成训练数据集,并基于该数据集训练多模态动态记忆大模型,在训练过程中,对图像编码器以及文本编码器进行提示微调,通过动态特征空间存储历史训练过程中产生的视觉聚合表示,由交叉熵损失优化模型参数;最终将待分类的面部表情图像输入到训练好的多模态动态记忆大模型中,输出面部表情图像的情感状态类别预测结果。本发明的方法可以有效地应用于教育领域,有利于教师了解学生的情绪状态,进而提高学生的参与度和学习效果。
本发明授权基于多模态动态记忆大模型的学生情感分析方法及系统在权利要求书中公布了:1.一种基于多模态动态记忆大模型的学生情感分析方法,其特征在于,包括以下步骤:S1:获取不同学生观看在线教育课程时的面部表情图像及其对应的真实情感状态类别标签;S2:将面部表情图像输入到多模态动态记忆大模型中进行训练,在多模态动态记忆大模型的训练过程中,首先由一个线性投影层将每个面部表情图像进行投影,每个面部表情图像对应得到一个令牌嵌入序列,将令牌嵌入序列与面部表情图像的空间位置编码结果以及初始化的分类令牌表示相加作为输入令牌序列,将输入令牌序列输入到图像编码器中,并采用视觉提示学习方法对图像编码器的每个编码层进行提示微调,最终得到视觉聚合表示,将与面部行为相关的描述经过文本分割工具处理后,形成分词后的文本序列,将分词后的文本序列与可学习的文本表示一起输入到文本编码器中,得到文本聚合表示,将视觉聚合表示与转置后的文本聚合表示相乘再经过Softmax输出第一预测概率,将视觉聚合表示与动态特征空间中存储的历史特征一起输入到输出模块中,得到视觉分类表示,将视觉聚合表示作为新的特征存储在动态特征空间中,将视觉聚合表示与转置后的视觉分类表示相乘再经过Softmax输出第二预测概率,将第一预测概率与第二预测概率加权求和作为最终预测概率,基于最终预测概率和真实情感状态类别标签计算交叉熵损失以更新多模态动态记忆大模型参数;S3:将待分类的面部表情图像输入到训练好的多模态动态记忆大模型中,当动态特征空间达到预设的容量阈值后,计算待分类的面部表情图像对应的综合评分,并基于综合评分判断是否需要更新动态特征空间,最终输出面部表情图像的情感状态类别预测结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江师范大学;杭州海康威视数字技术股份有限公司,其通讯地址为:321017 浙江省金华市婺城区迎宾大道688号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。