买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于多模态融合的课堂互动分析方法及系统，所述的教学行为分析系统包括音视频关键帧提取系统、帧特征分析系统、行为判别系统、结果分析系统。具体包括获取课堂教学视频，对课堂视频预处理；利用声纹识别技术和姿态估计算法处理课堂教学视频，判别说话者身份；设计师生互动行为类别，根据课堂互动行为主体不同进行分类；最后编制互动分析MFIAS编码表，构建多模态融合行为对照表映射特征行为，量化分析课堂教学互动行为。本发明实现全面细致分析课堂师生互动行为的丰富内涵，提出了一种基于多模态融合的课堂互动分析方法及系统，解决采用人工方式对课堂视频进行反馈分析结果受主观因素影响大、过程操作复杂等问题。

主权项：1.一种基于多模态融合的课堂互动分析方法，其特征在于，包括如下步骤：确定待分析的课堂教学视频；提取所述课堂教学视频中的声纹特征，并通过说话人识别聚类算法，确定每段声纹特征对应的说话者身份和说话时间；对所述课堂视频进行目标检测，检测出人体；并对检测出的人体进行姿态估计，确定人体的关键动作特征；所述关键动作特征包括：站立姿态、手部姿态以及脸部面向姿态；将所述声纹特征和人体关键动作特征融合，并结合预先根据相关教育理论和融合后的师生互动行为语义特征构建的课堂互动行为编码系统，分析所述课堂教学视频对应的课堂互动行为；构建所述课堂互动行为编码系统具体参照的原则包括：在某个时间段内，在检测到学生说话后，若未检测到有人站立，则认为学生坐着回答问题或演讲，若检测到一个人站立，且无手部动作，则认为学生站着回答问题或演讲，若检测到一个人站立，且有手部动作，则认为学生做手势解释内容，若检测到一个人站立，且抬起胳膊伸手指向旁边，则认为学生指向展示内容或操作电子白板，若检测到一个人站立，且面向镜头的侧面抬起胳膊伸手指向旁边，则认为学生在操作电子白板、讲解或板书，若检测到多个人站立，则认为教师在讲台上聆听学生回答问题或演讲；在某个时间段内，在检测到教师说话后，若未检测到人站立，则认为教师坐着讲授或提问，若检测到一个人站立，且无手部动作，则认为教师站着讲授或提问，若检测到一个人站立，且有手部动作，则认为教师做手势解释内容，若检测到一个人站立，且面向镜头抬起胳膊伸手指向旁边，则认为教师指向展示内容讲解或板书，若检测到一个人站立，且面向镜头的侧面抬起胳膊伸手指向旁边，则认为教师在操作电子白板、讲解或板书，若检测到多个人站立，则认为教师对演讲学生进行点评或指示。

全文数据：

权利要求：

百度查询： 华中师范大学 一种基于多模态融合的课堂互动分析方法及系统