买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳市芒果未来科技有限公司

摘要：本发明公开了一种乐器演奏或演唱测评方法及系统，方法包括：获取演奏或演唱的音频信号的特征并进行音高估计；将音频信号和乐谱参考信号实时对齐，并将实时对齐结果以以光标方式实时指示在乐谱对应音符位置上；判断测评是否结束，若测评结束则获取演奏或演唱音频同时确定演奏或演唱在乐谱上的结尾点；根据演奏或演唱的结尾点，将已录到的音频与乐谱参考信号计算离线对齐路径；统计演奏或演唱中的节奏错误；比较演奏或演唱音频中音符的音高与乐谱参考信号的音高是否一致，统计音符不一致的结果作为音准错误；根据节奏错误和音准错误对演奏或演唱打分。本发明实现了演奏或演唱的自动化测评打分，提高了测评的准确度和效率。

主权项：1.一种乐器演奏或演唱测评方法，其特征在于，包括以下步骤：获取演奏或演唱的音频信号的特征并进行音高估计；所述音高估计包括有：单音的音高估计和多音的音高估计，其中单音的音高估计采用信号处理方法或训练概率模型参数的方法进行估计；所述多音的音高估计采用训练深度神经网络模型的方法进行估计；多音的音高估计采用的深度神经网络模型为卷积神经网络模型，卷积神经网络模型的处理流程为：对演奏或演唱的音频信号进行分帧；根据预设的帧长和帧跳选取采样点并进行傅里叶变换和log-mel谱压缩成待输入采样点；将待输入采样点转化为符合卷积神经网络输入要求的特征向量并输入卷积神经网络；卷积神经网络的Sigmoid函数将输出结果压缩至0-1之间的概率值，最终输出M维向量，M维向量分别对应乐器M个音高出现的概率，当某个音的概率超过一定阈值，则认为当前音频演奏了该音；检测演奏或演唱音频信号的起始点，从起始点开始将获取的音频信号和乐谱参考信号进行实时对齐，并将实时对齐结果以光标方式实时指示在乐谱对应音符位置上；判断测评是否结束，若测评结束，则获取演奏或演唱音频同时确定演奏或演唱在乐谱上的结尾点；根据演奏或演唱在乐谱上的结尾点，将已录到的演奏或演唱音频与乐谱参考信号计算离线对齐路径；根据离线对齐路径统计演奏或演唱中的节奏错误；根据离线对齐路径比较演奏或演唱音频中音符的音高与乐谱参考信号的音高是否一致，统计音符不一致的结果作为音准错误；根据节奏错误和音准错误进行演奏或演唱打分。

全文数据：

权利要求：

百度查询： 深圳市芒果未来科技有限公司 一种乐器演奏或演唱测评方法及系统