买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州露电数字科技集团有限公司

摘要：本发明公开了基于MR设备的智能助教方法及系统，方法包括：服务器若确定当前交互模式为AI助教语音交互模式及机器视觉交互模式中的机器视觉交互模式时，则将当前操作实训实验对应的工具图像采集指令发送至第一用户MR设备；第一用户MR设备基于虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至服务器以识别得到操作工具识别结果集；服务器基于操作工具识别结果集与当前操作实训实验对应的标准操作工具集的匹配结果，生成与对应的最终评价结果并发送至第一用户MR设备。本发明实施例能结合MR设备对用户的操作实训实验进行智能语音引导，也能对用户操作实训实验的过程进行记录和自动评分，提升了实训教学的用户体验。

主权项：1.一种基于MR设备的智能助教方法，应用于基于MR设备的智能助教系统，其特征在于，所述基于MR设备的智能助教系统包括第一用户MR设备、第二用户MR设备及服务器，所述第一用户MR设备和所述第二用户MR设备均与所述服务器通讯连接；所述第一用户MR设备为学生用户类型的MR设备，所述第二用户MR设备为教师用户类型的MR设备，多个第一用户MR设备可同时与服务器进行交互以用于进行操作实训实验；所述基于MR设备的智能助教方法包括：所述第一用户MR设备或所述第二用户MR设备若接收到用户操作信息，则产生与所述用户操作信息对应的教学实训操作交互指令并发送至所述服务器；所述服务器响应于所述第一用户MR设备或所述第二用户MR设备发送的教学实训操作交互指令，获取与所述教学实训操作交互指令对应的当前交互模式；所述服务器若确定所述当前交互模式为AI助教语音交互模式，则获取通过所述第一用户MR设备或所述第二用户MR设备采集并上传的当前用户语音数据；所述服务器基于预先训练的语音识别模型获取与所述当前用户语音数据对应的当前语音识别文本；所述服务器基于所述当前语音识别文本在本地的职业教育知识库中匹配获取目标答复数据，及与所述目标答复数据对应的多维度辅助答复数据，并将所述目标答复数据及所述多维度辅助答复数据发送至所述第一用户MR设备或所述第二用户MR设备；所述服务器若确定所述当前交互模式为机器视觉交互模式，则将所选定的当前操作实训实验对应的工具图像采集指令发送至所述第一用户MR设备；所述第一用户MR设备基于所述工具图像采集指令及虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至所述服务器，以使得所述服务器基于预选训练的工具图像识别模型对所述工具操作视频或所述工具操作图片集进行识别，得到操作工具识别结果集；所述服务器基于所述操作工具识别结果集与所述当前操作实训实验对应的标准操作工具集的匹配结果，生成与所述当前操作实训实验对应的最终评价结果并发送至所述第一用户MR设备；所述第一用户MR设备基于所述工具图像采集指令及虚实拍照框碰撞检测策略采集工具操作视频或工具操作图片集并发送至所述服务器，以使得所述服务器基于预选训练的工具图像识别模型对所述工具操作视频或所述工具操作图片集进行识别，得到操作工具识别结果集，包括：所述第一用户MR设备若确定所述工具图像采集指令为训练模式图像采集指令，则第i次调用所述虚实拍照框碰撞检测策略确定所述第一用户MR设备对应的虚拟物品放置框与通过所述第一用户MR设备对应定位到的现实物品放置框的第i次碰撞检测结果；其中，i的初始值为1；若确定第i次碰撞检测结果对应检测成功结果，则通过所述第一用户MR设备采集第i轮工具操作图片或第i轮工具操作视频并发送至所述服务器，以使得所述服务器对第i轮工具操作图片或第i轮工具操作视频进行工具识别得到第i轮操作工具识别结果；将i增1以更新i的取值；若确定i未超出N，则返回执行所述第一用户MR设备若确定所述工具图像采集指令为训练模式图像采集指令，则第i次调用所述虚实拍照框碰撞检测策略确定所述第一用户MR设备对应的虚拟物品放置框与通过所述第一用户MR设备对应定位到的现实物品放置框的第i次碰撞检测结果的步骤；其中，N为当前操作实训实验中所需使用工具的总个数；若确定i超出N，则依序获取第1轮操作工具识别结果至第N轮操作工具识别结果以组成所述操作工具识别结果集；其中，所述第一用户MR设备通过图像采集单元对学生用户在当前操作实训实验对应的实际操作过程进行图片或视频记录；所述第i次调用所述虚实拍照框碰撞检测策略确定所述第一用户MR设备对应的虚拟物品放置框与通过所述第一用户MR设备对应定位到的现实物品放置框的第i次碰撞检测结果，包括：在第i次调用所述虚实拍照框碰撞检测策略时，获取所述第一用户MR设备对应的虚拟物品放置框与通过所述第一用户MR设备对应定位到的现实物品放置框之间的重合度结果；其中，虚拟物品放置框的四个顶点坐标与现实物品放置框的四个顶点坐标完全相同，则判定为虚实拍照框碰撞成功，且对应碰撞检测成功的碰撞检测结果；当虚拟物品放置框的四个顶点坐标与现实物品放置框的四个顶点坐标不是完全相同，则判定为虚实拍照框碰撞失败，且对应碰撞检测失败的碰撞检测结果；若所述重合度结果对应完全重合结果，且所述虚拟物品放置框与所述现实物品放置框之间的完全重合持续时间超过预设的持续时间阈值，则以碰撞检测成功作为第i次碰撞检测结果；若所述重合度结果对应未完全重合结果，则以碰撞检测失败作为第i次碰撞检测结果。

全文数据：

权利要求：

百度查询： 杭州露电数字科技集团有限公司 基于MR设备的智能助教方法及系统