买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉纺织大学

摘要：本发明涉及一种基于自注意力和多尺度聚合的实时课堂行为识别方法，所述实时课堂行为识别方法具体包含如下步骤：S1.设计适用于实时课堂行为识别的学生课堂行为识别模型；所述学生课堂行为识别模型依次包括数据预处理模块、特征提取模块、通道空间增强模块、多尺度特征聚合模块和行为预测模块；S2.设计训练学生课堂行为识别模型过程中使用的损失函数，并训练步骤S1中设计好的学生课堂行为识别模型；S3.使用步骤S2中训练好的学生课堂行为识别模型来解析实时视频，生成行为预测结果。通过优化模型和损失函数，明显提高课堂行为识别的准确率和速度，提供了一种高效解析课堂行为的方法，大大节省了人力成本。

主权项：1.一种基于自注意力和多尺度聚合的实时课堂行为识别方法，其特征在于，所述实时课堂行为识别方法具体包含如下步骤：S1.设计适用于实时课堂行为识别的学生课堂行为识别模型；所述学生课堂行为识别模型依次包括数据预处理模块、特征提取模块、通道空间增强模块、多尺度特征聚合模块和行为预测模块；S2.设计训练学生课堂行为识别模型过程中使用的损失函数，并训练步骤S1中设计好的学生课堂行为识别模型；所述损失函数由特征提取模块损失函数和行为预测模块损失函数组成；所述特征提取模块损失函数具体如下： ；其中，是定位损失函数，用于使模型准确地定位目标边界框；是分类损失函数，用于衡量模型预测值与实际标签之间的差异；和是超参数，用于控制定位损失和分类损失的权重；所述行为预测模块损失函数具体如下： ；其中，代表样本的数量；i代表第i个样本；代表第i个样本的真实标签；代表第i个样本的预测概率；表示正则化项，用于控制模型的复杂度和防止过拟合；是正则化项的权重参数；表示边界框回归损失函数，用于优化目标检测任务中的边界框位置预测；是边界框回归损失函数的权重参数；所述定位损失函数具体如下： ；其中，代表预测的边界框；代表真实的边界框；代表预测的边界框与真实边界框之间的重叠程度；所述分类损失函数具体如下： ；其中，代表样本的数量；i代表第i个样本；代表第i个样本的真实标签；代表第i个样本预测的概率；所述边界框回归损函数失具体如下： ；其中，表示预测边界框的中心点横坐标；表示预测边界框的中心点纵坐标；表示预测边界框的宽度；表示预测边界框的高度；表示真实边界框的中心点横坐标；表示真实边界框的中心点纵坐标，表示真实边界框的宽度，表示真实边界框的高度；S3.使用步骤S2中训练好的学生课堂行为识别模型来解析实时视频，生成行为预测结果。

全文数据：

权利要求：

百度查询： 武汉纺织大学 基于自注意力和多尺度特征聚合的实时课堂行为识别方法