买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北京邮电大学
申请日:2021-07-13
公开(公告)日:2022-02-25
公开(公告)号:CN113239914B
专利技术分类:..人脸,例如 面部部分、草图或表情[2022.01]
专利摘要:本公开提供一种课堂学生表情识别方法,通过多路自注意力机制的深度卷积神经网络的各个支路分别获得学生表情图像的局部特征、遮挡特征及整体特征,然后基于所述多路自注意力机制的深度卷积神经网络的自适应权重分配层,分别计算所述局部特征、所述遮挡特征和所述整体特征的各自的权重;将所述局部特征、所述遮挡特征和所述整体特征,分别与所述各自的权重相乘后合并,得到所述学生表情图像的全局表情特征;最后,基于所述全局表情特征对课堂学生表情进行识别,从而有效分类复杂课堂场景下的学生表情,提高了遮挡情况下学生课堂表情识别的准确性。
专利权项:1.一种课堂学生表情识别的方法,包括:基于多路自注意力机制的深度卷积神经网络的各个支路分别获得学生表情图像的局部特征、遮挡特征及整体特征;基于所述多路自注意力机制的深度卷积神经网络的自适应权重分配层,分别计算所述局部特征、所述遮挡特征和所述整体特征的各自的权重;将所述局部特征、所述遮挡特征和所述整体特征,分别与所述各自的权重相乘后合并,得到所述学生表情图像的全局表情特征;基于所述全局表情特征对课堂学生表情进行识别;其中,在训练所述多路自注意力机制的深度卷积神经网络时,通过以下损失函数约束所述遮挡特征的权重:Lbound1=max(0,margin1-qorg+q1);其中,qorg为所述整体特征的权重,ql为所述遮挡特征的权重,margin1为第一预设阈值,用于调节所述整体特征的权重与所述遮挡特征的权重的差值;其中,所述局部特征、所述遮挡特征和所述整体特征的各自的权重通过以下公式获得;qi=SW2*RW1*Zi其中,qi为各个支路表情特征的权重,W1和W2为全连接层权重,R为ReLU激活函数,S为Sigmoid激活函数,Zi为所述局部特征、所述遮挡特征或所述整体特征;其中,通过以下公式得到所述学生表情图像的全局表情特征: ;其中,Fm为所述全局表情特征,Fi为各支路卷积神经网络学习到的学生表情特征,c为支路数。
百度查询: 北京邮电大学 课堂学生表情识别及课堂状态评估方法、装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。