买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东大学

摘要：本发明公开了一种基于自监督学习的语言查询目标声音提取方法。该方法可以在不需要人工标注的文本‑音频数据对的情况下，训练一个以自然语言查询作为条件的目标声音提取系统。具体而言，本发明基于对比学习的音频文本预训练模型，首先使用预训练模型的文本编码器对大量的文本数据进行编码，构建离线文本特征缓存，之后通过相似性匹配算法，从文本特征缓存中提取并构建与目标音频匹配的文本特征，并以此特征作为条件，指导目标声音提取网络在包含目标音频的混合音频中提取出目标音频。本发明所提方法在多个数据集上的评估表现优异，各项指标均接近或者超过有监督学习的方法，证明本发明具有较强的实用价值。

主权项：1.一种基于自监督学习的语言查询目标声音提取方法，该方法在模型训练时，基于对比学习音频文本预训练模型，自动构造与目标音频匹配的文本特征向量，从而可以实现在不需要人工标注的音频-文本数据对的情况下，训练一个基于自然语言查询的目标声音提取系统，具体步骤包括：步骤1：构建离线文本特征缓存：准备音频描述文本库，包含N条音频描述文本，使用对比学习音频文本预训练模型的文本编码器，分别对每一条文本提取一个D维的文本特征向量，从而构建一个N×D维的离线文本特征缓存；步骤2：自监督地训练语言查询目标声音提取系统，包括：步骤2.1：构建训练音频，所述训练音频包含混合音频和目标音频，具体为：准备音频数据库，包含M段音频，在每一步的训练过程中，任意从音频数据库中抽取出两段不同的音频，将其中的一段视为要提取的目标音频，另一段视为干扰音频，两段音频加权相加后构造信号干扰比为R的混合音频；步骤2.2：基于相似性匹配构造与目标音频匹配的文本特征向量：使用对比学习音频文本预训练模型的音频编码器，对目标音频提取D维的音频特征向量，将该音频特征向量视为查询向量，并将步骤1中构建的文本特征缓存视为键、值向量，通过查询向量与键向量之间的点积运算得到相似度得分，并以相似度得分为权重，将得分最大的K个键向量对应的值向量进行加权和计算，加权和向量经过L2归一化后即可获得与目标音频匹配的文本特征向量；步骤2.3：训练目标声音提取模型：构造深度神经网络模型，该模型以步骤2.1获得的混合音频作为模型输入，以步骤2.2获得的文本特征向量作为条件输入，该模型以文本特征向量为条件，在混合音频中提取出目标音频，基于提取音频与步骤2.1中的目标音频的相似度构造损失函数，使用梯度下降算法训练模型；步骤3：语言查询目标声音提取系统推理：用户输入任意包含多个声音事件的音频，并输入待提取音频事件的自然语言描述，使用对比学习音频文本预训练模型的文本编码器，对输入的自然语言进行编码，得到D维的文本特征向量，步骤2.3中训练好的提取模型即可在该特征向量的控制下，提取出输入音频中用户想要提取的目标声音。

全文数据：

权利要求：

百度查询： 山东大学 一种基于自监督学习的语言查询目标声音提取方法