买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州熠品智能科技有限公司

摘要：本发明提供一种基于课堂视频的AI多维教学行为分析方法及系统，涉及图像处理技术领域，包括：获取课堂教学视频，提取视频帧和音频帧进行自适应分段，进行图像超分辨率重建，自适应降噪得到标准课堂教学视频；添加至目标检测模型和单目标跟踪模型中进行目标识别，得到目标边界框，进行跟踪，得到时空行为轨迹，提取三维关键点坐标，得到姿态特征信息，对音轨进行说话人分离，进行学习得到语音特征向量，建模视线运动，得到注视点分布信息；基于异构图神经网络构建教学行为分析图，进行时序迭代更新，确定内在关联，生成时序语义表征，构建多层条件生成式对抗网络并生成最优教学模式，进行对比，微观解构，得到教学行为分析报告。

主权项：1.基于课堂视频的AI多维教学行为分析方法，其特征在于，包括：获取课堂教学视频，提取所述课堂教学视频的视频帧和音频帧，对所述音频帧和所述视频帧分别进行自适应分段，分为多个视频片段和多个音频片段，对所述视频片段进行基于深度卷积神经网络的图像超分辨率重建，对所述音频片段进行自适应降噪并结合谱减法的自适应增强算法进行增强，组合重建后的视频片段和增强后的音频片段得到标准课堂教学视频；将所述标准课堂教学视频分别添加至预先设置的目标检测模型和单目标跟踪模型中，所述目标检测模型通过注意力机制和特征金字塔结构进行目标识别，得到目标边界框，所述单目标跟踪模型通过获取每一帧中目标教师位置进行跟踪，得到时空行为轨迹，在所述目标边界框中通过姿态估计网络提取目标教师的三维关键点坐标，构建三维骨架模型并得到姿态特征信息，对所述标准课堂教学视频的音轨通过深度嵌入式聚类算法进行说话人分离，生成分离语音片段并通过门控循环单元网络进行学习，得到语音特征向量，通过三维卷积神经网络建模所述标准课堂教学中目标教师的视线运动，得到注视点分布信息；基于异构图神经网络，以所述时空行为轨迹、所述姿态特征信息、所述语音特征向量和所述注视点分布信息作为节点，不同节点之间的相关性作为边构建教学行为分析图，在每个时间步，通过门控循环单元对节点进行时序迭代更新，通过设置在异构图神经网络中最后一层的自注意力池化机制确定每个节点的注意力权重和节点间的内在关联，生成时序语义表征，基于所述时序语义表征构建多层条件生成式对抗网络并以教学行为的标准规范作为条件生成最优教学模式，将所述最优教学模式添加至所述教学行为分析图中与当前教学行为进行对比，结合图谱推理算法进行微观解构，得到教学行为分析报告。

全文数据：

权利要求：

百度查询： 杭州熠品智能科技有限公司 基于课堂视频的AI多维教学行为分析方法及系统