买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：李岱勋

摘要：本发明提供了一种基于手部姿态估计的多模态钢琴陪练系统及方法。该系统包括：数据采集模块，采集演奏过程中的手势信息和琴音信息；数据识别模块，根据琴音信息和预设算法识别手势信息中的小关节点，并发送给数据比对模块；数据比对模块，将小关节点识别结果与标准数据库进行比对，获得演奏过程中的错误手势信息和错误琴音片段信息；结果显示模块，将错误手势信息和错误琴音片段信息在琴谱上进行标注，并通过多模态形式反馈给用户。本发明通过多种算法多方面进行手势特征提取识别，从而有效提取视频帧的时间特征信息和空间特征信息，同时依靠麦克风收音极大降低了算力消耗，通过小关节定位提高了钢琴陪练效果。

主权项：1.一种基于手部姿态估计的多模态钢琴陪练系统，其特征在于，所述多模态钢琴陪练系统包括：数据采集模块、数据识别模块、数据比对模块和结果显示模块；所述数据采集模块，用于采集演奏过程中的手势信息和琴音信息，并将两组信息进行对齐后发送给所述数据识别模块；所述数据识别模块，用于根据所述琴音信息和预设算法识别所述手势信息中的小关节点，获得小关节点识别结果，并将所述小关节点识别结果发送给数据比对模块；所述数据比对模块，用于将所述小关节点识别结果与标准数据库进行比对，获得演奏过程中的错误手势信息和错误琴音片段信息，并将所述错误手势信息和错误琴音片段信息发送给结果显示模块；所述结果显示模块，用于将所述错误手势信息和错误琴音片段信息在琴谱上进行标注，获得标注结果，并通过多模态形式将所述标注结果反馈给用户；所述数据识别模块和所述数据比对模块位于云端后台，所述预设算法包括：手势识别算法，音频识别算法和图像处理算法；所述音频识别算法具体为：基于麦克风阵列，对琴音信息进行滤波处理和加窗处理，确定声音区间，辅助判断演奏时的手部位置；所述多模态形式是指：将所述错误手势信息和错误琴音片段信息在琴谱上进行标注，通过点击错误标注反复查看错误位置10s内的错误片段，并同时展示出正确手势和正确琴音，得到纠正评价提示，通过选择显示模式显示或不显示演奏过程中小关节点的标注；所述显示模式包括：高级模式和普通模式，所述高级模式显示演奏过程中的小关节点标注，所述普通模式不显示演奏过程中的小关节点标注。

全文数据：

权利要求：

百度查询： 李岱勋 基于手部姿态估计的多模态钢琴陪练系统及方法