买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种在线课程的学生参与度实时可视化分析方法，包括实时获取在线课程中学生的视频；对视频数据进行预处理提取得到学生的面部特征；从注意力、情感、疲劳程度和认知状态四个方面建立学生参与度分析模型；对学生参与度分析模型的分析结果进行可视化完成在线课程的学生参与度实时可视化分析。本发明使用计算机视觉方法提取学生面部特征，然后建立学生参与度分析模型，然后使用可视分析方法帮助教师从多角度分析学生参与度；相比于传统的线性查看学生视频方法，本发明方法可以自动提取学生参与度信息并进行可视化展示，可靠性高、准确性好、实时性高且方便快捷。

主权项：1.一种在线课程的学生参与度实时可视化分析方法，包括如下步骤：S1.实时获取在线课程中学生的视频；S2.对步骤S1获取的视频数据进行预处理，从而提取得到学生的面部特征；S3.从注意力、情感、疲劳程度和认知状态四个方面，建立学生参与度分析模型；具体包括如下步骤：注意力方面：采用如下算式计算得到学生观看屏幕状态变量S为S＝"|X|≤0.5""|Y|≤0.5"；式中[X,Y]为预处理后的学生视线方向；"a"的取值规则为：若a为真则"a"＝1，若a为假则"a"＝0；为与操作；当学生观看屏幕状态变量S为1，表明学生正在观看屏幕；当学生观看屏幕状态变量S为0，表明学生未在观看屏幕；采用时间跨度为30s的滑动窗口接收学生的视线方向[X,Y]以及学生观看屏幕状态变量S，得到N＝[X1,X2,...,Xn]、M＝[Y1,Y2,...,Yn]和W＝[S1,S2,...,Sn]，其中Xi为第i帧中学生的水平视线方向，Yi为第i帧中学生的垂直视线方向，Si为第i帧中学生观看屏幕的状态变量；计算得到学生发呆状态变量D为D＝"maxN-minN≤T""maxM-minM≤T"，式中maxN为N中元素的最大值，minN为N中元素的最小值，D为1表示学生未发呆，D为0表示学生发呆；最后，采用如下算式计算得到学生的注意力变量A为疲劳程度方面：1针对学生，选取平均眼睛长宽比B2、眨眼频率P2、平均眨眼时长D2和打哈欠频数M2作为指标，对学生的疲劳程度进行建模；提取人脸的眼部关键点和嘴部关键点信息：其中眼部关键点包括6个关键点，最外侧眼角处的眼部关键点E1，最内侧眼角处的眼部关键点E4，眼睛上轮廓外侧14处的眼部关键点E2，眼睛上轮廓内侧14处的眼部关键点E4，眼睛下轮廓外侧14处的眼部关键点E6，以及眼睛下轮廓内侧14处的眼部关键点E5；嘴部关键点信息包括4个关键点，嘴部轮廓最左侧关键点M1，嘴部轮廓最右侧关键点M3，上嘴唇最高处关键点M2，以及下嘴唇最低处关键点M4；每个关键点都是二维坐标；采用如下算式计算得到学生的眼睛长宽比α为式中|E2-E6|表示关键点E2与关键点E6之间的直线距离；|E3-E5|表示关键点E3与关键点E5之间的直线距离；|E1-E4|表示关键点E1与关键点E4之间的直线距离；采用如下算式计算得到学生的嘴部长宽比β为式中M3-M1|表示关键点M3和关键点M1之间点直线距离距离，|M2-M4|表示关键点M2和关键点M4之间的直线距离；预先获取每一名学生的眼部长宽比和嘴部长宽比进行归一化处理，使得眼睛完全闭合时眼睛长宽比α为0，眼睛完全打开时眼睛长宽比α为1；嘴部完全闭合时嘴部长宽比β为0，嘴部完全打开时嘴部长宽比β为1；当检测到学生的眼睛长宽比α小于设定阈值时，认定学生闭眼；2采用时长为30s的滑动窗口，对视频图像进行截取，得到F＝[B1,B2,...,Bn]，其中Bi为滑动窗口中第i帧图像的眼部长宽比；采用如下公式计算得到学生的平均眼部长宽比B为定义眨眼频率P为30s中学生眨眼动作的次数；采用时长为30s的滑动窗口，对视频图像进行截取，得到G＝[D1,D2,...,Dm]，其中在滑动窗口中共检测出m次眨眼，Di为第i次眨眼的时长；采用如下公式计算得到学生的平均眨眼时长D为当嘴部长宽比大于设定阈值且持续时间大于设定阈值时，认定学生发生打哈欠行为；学生的打哈欠频数M为30s内的打哈欠的次数；采用动态权重模糊综合评价法分析学生的疲劳程度：最终得到初始的平均眼部长宽比B权重、眨眼频率P权重、平均眨眼时长D权重和打哈欠频数M权重依次为0.42、0.13、0.32和0.13；在B＜0.2时，调整平均眼部长宽比B权重、眨眼频率P权重、平均眨眼时长D权重和打哈欠频数M权重依次为0.8、0.1、0.1和0；每个指标在不同数值时对应着相应的价值V；B＝1时价值为0，B＝0.8时价值为0.2，B＝0.6时价值为0.4，B＝0.4时价值为0.6，B＝0.2时价值为0.8，B＝0时价值为1；P在6～8区间时价值为0，P为5或9时价值为0.2，P等于4或在10～12区间时价值为0.4，P等于3或在12～14区间时价值为0.6，P等于2或在15～16区间时价值为0.8，P≤1时或P＞16时价值为1；D在0.2～0.4区间时价值为0，D在0.5～0.6区间时价值为0.2，D在0.7～0.8区间时价值为0.4，D在0.8～1.5区间时价值为0.6，D在1.5～3区间时价值为0.8，D在3以上时价值为1；M等于0时价值为0，M等于1时价值为0.4，M等于2时价值为0.6，M等于3时价值为0.8，M≥4时的价值为1；最后计算疲劳程度F为：F＝VB*WB+VP*WP+VD*WD+VM*WM，其中WB为平均眼部长宽比B权重，WP为眨眼频率P权重，WD为平均眨眼时长D权重，WM为打哈欠频数M权重，VB为眼部长宽比B的价值，VP为眨眼频率P的价值，VD为平均眨眼时长D的价值，VM为打哈欠频数M的价值；情感方面：采用情感分类模型，将情感分为愤怒、自然、悲伤、惊讶、开心、厌恶和害怕；认知状态方面：规定学生听懂课程内容时点头，未听懂课程内容时摇头；对学生的头部动作进行检测：提取学生的头部的偏航角和俯仰角，然后建立两个时间跨度为3s的滑动窗口分别对偏航角和俯仰角进行接收；采用如下步骤检测学生的点头行为和摇头行为：规定若头部方向连续下降超过设定的阈值，则判定发生低头行为；若头部方向连续上升超过设定的阈值，则判定发生抬头行为；在观察区间内同时检测到低头和抬头行为则判定发生点头行为；S4.对步骤S3建立的学生参与度分析模型的分析结果进行可视化，从而完成在线课程的学生参与度实时可视化分析。

全文数据：

权利要求：

百度查询： 中南大学 在线课程的学生参与度实时可视化分析方法