买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明公开了基于人脸识别的学生课程推荐方法、装置及设备,方法包括:获取学生人脸图像及当前学习课程信息;将学生人脸图像输入至人脸识别模型,得到第一识别结果;获取与其对应的学生历史学习视频数据;将其中选中的若干张学生历史学习视频图像输入至微表情识别模型,得到第二识别结果;基于当前学习课程信息、第二识别结果及微表情‑推荐课程映射关系,确定候选推荐课程数据集;获取课程学习轨迹数据,基于其和候选推荐课程数据集确定最终推荐课程数据集。本发明实施例可以基于用户学习过程中录制的学习视频进行表情识别和微表情识别,以及用户的课程学习轨迹数据来多维度共同确定更加准确且符合用户学习进度的最终推荐课程数据集。
主权项:1.一种基于人脸识别的学生课程推荐方法,其特征在于,包括:响应于课程推荐指令,获取与所述课程推荐指令对应的学生人脸图像及当前学习课程信息;其中,所述课程推荐指令为用户基于登录账号和密码成功登录服务器中的在线学习平台且点击虚拟操作按钮所产生,或为用户基于登录账号和密码成功登录服务器中的在线学习平台所产生;获取预先训练的人脸识别模型,将所述学生人脸图像输入至所述人脸识别模型,得到第一识别结果;若确定用户登录服务器对应的当前用户身份信息与所述第一识别结果对应同一用户,则判定用户本人登录了服务器中的在线学习平台进行在线学习;获取与所述第一识别结果对应的学生历史学习视频数据,所述学生历史学习视频数据为服务器中存储的近一个月内的学习视频数据;获取预先训练的微表情识别模型,将所述学生历史学习视频数据中选中的若干张学生历史学习视频图像输入至所述微表情识别模型,得到第二识别结果;基于所述当前学习课程信息、所述第二识别结果、及预设的微表情-推荐课程映射关系,确定与所述学生人脸图像对应的候选推荐课程数据集;获取与所述学生历史学习视频数据对应的课程学习轨迹数据,基于所述课程学习轨迹数据和所述候选推荐课程数据集确定最终推荐课程数据集;所述基于所述当前学习课程信息、所述第二识别结果、及预设的微表情-推荐课程映射关系,确定与所述学生人脸图像对应的候选推荐课程数据集,包括:获取所述当前学习课程信息对应的当前课程名称;基于所述当前课程名称及所述第二识别结果确定初始候选推荐课程数据集;基于所述第二识别结果及所述微表情-推荐课程映射关系在所述初始候选推荐课程数据集中确定所述候选推荐课程数据集;所述基于所述当前课程名称及所述第二识别结果确定初始候选推荐课程数据集,包括:若确定所述第二识别结果为正向性微表情识别结果,则获取与所述当前课程名称对应的进阶课程数据集,以组成所述初始候选推荐课程数据集;若确定所述第二识别结果为中性微表情识别结果,则获取与所述当前课程名称对应的同阶课程数据集,以组成所述初始候选推荐课程数据集;若确定所述第二识别结果为负向性微表情识别结果,则获取与所述当前课程名称对应的降阶课程数据集,以组成所述初始候选推荐课程数据集;所述基于所述第二识别结果及所述微表情-推荐课程映射关系在所述初始候选推荐课程数据集中确定所述候选推荐课程数据集,包括:若所述微表情-推荐课程映射关系中存在有与所述第二识别结果相同的目标微表情,获取所述目标微表情对应的目标推荐课程难度等级;在所述初始候选推荐课程数据集中获取具有所述目标推荐课程难度等级的初始候选推荐课程数据,以组成所述候选推荐课程数据集;所述获取与所述学生历史学习视频数据对应的课程学习轨迹数据,基于所述课程学习轨迹数据和所述候选推荐课程数据集确定最终推荐课程数据集,包括:获取所述候选推荐课程数据集中各候选推荐课程数据与所述课程学习轨迹数据的关联度;获取与所述课程学习轨迹数据具有最大关联度的候选推荐课程数据组成所述最终推荐课程数据集;所述获取所述候选推荐课程数据集中各候选推荐课程数据与所述课程学习轨迹数据的关联度的步骤中在确定各候选推荐课程数据与所述课程学习轨迹数据的关联度时,分别获取候选推荐课程数据的课程名称特征向量与所述课程学习轨迹数据中各课程名称特征向量的余弦相似度并求和,以确定候选推荐课程数据与所述课程学习轨迹数据的关联度;所述将所述学生人脸图像输入至所述人脸识别模型,得到第一识别结果,包括:将所述学生人脸图像输入至所述人脸识别模型所对应卷积神经网络进行特征提取,得到学生人脸特征;基于所述学生人脸特征与预设人脸特征库中各人脸特征的特征相似度,确定与所述学生人脸特征具有最大特征相似度的目标人脸特征;获取所述目标人脸特征对应的用户身份信息,以作为所述第一识别结果;所述获取与所述第一识别结果对应的学生历史学习视频数据,包括:获取当前系统时间,根据预设统计时长和所述当前系统时间确定历史数据获取时间区间;其中,所述历史数据获取时间区间为[当前系统时间-预设统计时长,当前系统时间;在本地存储区域获取视频数据采集时间位于所述历史数据获取时间区间、且所对应采集用户的身份信息与所述第一识别结果相同的历史视频数据,以组成所述学生历史学习视频数据;所述将所述学生历史学习视频数据中选中的若干张学生历史学习视频图像输入至所述微表情识别模型,得到第二识别结果,包括:将所述学生历史学习视频数据中选中的若干张学生历史学习视频图像分别输入至所述微表情识别模型,得到若干张学生历史学习视频图像分别对应的微表情识别结果;以若干张学生历史学习视频图像分别对应的微表情识别结果中出现频率最高的微表情识别结果作为所述第二识别结果。
全文数据:
权利要求:
百度查询: 广东工贸职业技术学院 基于人脸识别的学生课程推荐方法、装置及设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。