买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江西旅游商贸职业学院

摘要：本发明涉及课堂教学难点分析的技术领域，公开了一种注意力分析的课堂教学难点分析方法与系统，所述方法包括：利用面部表情分类模型对面部表情图像数据序列进行分类，得到学生在课堂教学过程中的表情分类结果序列并进行难点定位；对全体学生的难点时间戳进行聚类，提取超过预置难点时间戳数量的聚类簇，将提取聚类簇所对应的课堂教学内容作为该聚类簇中所有学生的课堂教学难点。本发明对面部表情图像数据进行分块以及结合位置信息的编码处理，并对编码处理结果进行结合注意力机制的感知处理，得到表征学生当前注意力状态的感知信息，实现学生表情分类处理，并进行难点定位以及聚类分析，实现不同类别学生的课堂教学难点分析以及提取处理。

主权项：1.一种注意力分析的课堂教学难点分析方法，其特征在于，所述方法包括：S1：在真实的教室环境中使用摄像头采集学生的面部表情图像数据，并对采集到的面部表情图像数据进行标注，构成面部表情分类训练数据集；S2：构建面部表情分类模型，并基于面部表情分类训练数据集对面部表情分类模型进行训练，所述面部表情分类模型以学生的面部表情图像数据为输入，以学生的面部表情分类结果为输出，所述面部表情分类模型包括输入层、图像分块层、编码层、感知层以及输出层，基于面部表情分类训练数据集对面部表情分类模型进行训练，具体流程包括：初始化生成面部表情分类模型的模型参数，构建面部表情分类模型的训练目标函数，计算得到模型参数的一阶矩和二阶矩并对一阶矩以及二阶矩进行权重衰减，基于衰减后的矩估计值对模型参数进行迭代更新；S3：采集学生在课堂教学过程中的面部表情图像数据序列，并利用面部表情分类模型对面部表情图像数据序列进行分类，得到学生在课堂教学过程中的表情分类结果序列，其中面部表情图像数据分类流程包括：对面部表情图像数据进行分块处理得到面部表情图像数据块序列，对面部表情图像数据块序列结合位置信息进行编码处理得到面部表情编码向量，结合注意力机制对面部表情编码向量进行感知得到面部表情感知向量，对面部表情感知向量进行向量映射得到面部表情分类结果序列；S4：对每一名学生的表情分类结果序列进行难点定位，得到学生在课堂教学过程中的难点时间戳；S5：对全体学生的难点时间戳进行聚类，得到多个聚类簇，提取超过预置难点时间戳数量的聚类簇，将提取聚类簇所对应的课堂教学内容作为该聚类簇中所有学生的课堂教学难点，其中难点时间戳的聚类流程包括：计算得到任意两名学生之间的难点时间戳距离并进行聚类处理并计算每个聚类簇中难点时间戳数量，提取超过预置难点时间戳数量的聚类簇并计算均值化处理后的难点时间戳，将难点时间所对应的课堂教学内容作为该聚类簇中所有学生的课堂教学难点；所述S3步骤中采集学生在课堂教学过程中的面部表情图像数据序列，并利用面部表情分类模型对面部表情图像数据序列进行分类，包括：采集学生在课堂教学过程中的面部表情图像数据序列，得到每一名学生的面部表情图像数据序列并构成集合： 其中： 表示课堂教学过程中第m名学生的面部表情图像数据序列，t表示时序信息，表示H个课堂教学时刻，M表示课堂教学过程中学生的总数；表示课堂教学过程中第m名学生在H个课堂教学时刻的面部表情图像数据，表示课堂教学过程中第m名学生在第h个课堂教学时刻的面部表情图像数据，；利用步骤S2训练得到的面部表情分类模型接收面部表情图像数据序列中的任意面部表情图像数据并进行分类，得到每一名学生的表情分类结果序列，其中面部表情图像数据的分类流程为：S31：输入层接收面部表情图像数据；S32：图像分块层对面部表情图像数据进行分块处理，得到面部表情图像数据块序列： 其中： 表示分块得到的第s个面部表情图像数据块，S表示分块得到的面部表情图像数据块总数，依次对应在颜色通道的像素矩阵；S33：编码层对面部表情图像数据块序列进行结合位置信息的编码处理，得到面部表情编码向量： 其中： 表示面部表情编码向量； 表示面部表情图像数据块的编码处理结果； 表示面部表情图像数据块在面部表情图像数据中的行位置与列位置之和，其中行位置为面部表情图像数据块在面部表情图像数据的水平方向图像数据块位次，列位置为面部表情图像数据块在面部表情图像数据的竖直方向图像数据块位次； 为RGB颜色通道的编码矩阵； 表示卷积处理；S34：感知层结合注意力机制以及感知计算的方式对面部表情编码向量进行感知，得到课堂教学过程中第m名学生在第h个课堂教学时刻的面部表情感知向量： 其中： 表示以自然常数为底的指数函数； 表示编码处理结果对应的感知信息；S35：输出层对面部表情感知向量进行向量映射，得到课堂教学过程中第m名学生在第h个课堂教学时刻的面部表情分类结果： 其中：W表示输出层中的连接矩阵，表示L1范数，表示预设的特征阈值； 表示课堂教学过程中第m名学生在第h个课堂教学时刻的面部表情分类结果，则表示为专注表情，则表示为困惑表情；所述S4步骤中对每一名学生的表情分类结果序列进行难点定位，包括：获取M名学生的表情分类结果序列并构成集合： 其中： 表示第m名学生的表情分类结果序列； 表示课堂教学过程中第m名学生在第h个课堂教学时刻的面部表情分类结果；对每一名学生的表情分类结果序列进行难点定位，得到每名学生的难点时间戳，其中表情分类结果序列的难点时间戳计算流程为：S41：遍历得到表情分类结果序列中困惑表情所处的课堂教学时刻；S42：计算遍历得到的任意课堂教学时刻到另一个困惑表情所处课堂教学时刻之间的时间间隔，若该时间间隔小于预设阈值，则将两个课堂教学时刻之间的所有课堂教学时刻均标记为难点时刻；S43：重复步骤S42，得到第m名学生的难点时间戳： 其中： 表示第m名学生的难点时间戳； 表示课堂教学过程中第h个课堂教学时刻为第m名学生的难点时刻，表示课堂教学过程中第h个课堂教学时刻不为第m名学生的难点时刻。

全文数据：

权利要求：

百度查询： 江西旅游商贸职业学院 一种注意力分析的课堂教学难点分析方法与系统