买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明涉及一种音频语意概述方法,具体为一种融合全局场景与局部事件信息的音频语意概述方法,首先对实际场景中产生的音频进行建模分析,随后从声学场景的宏观全局特性入手,并融合了对于场景内各音频事件的精细化感知,最终生成贴合人类自然语言逻辑的语意概述文本,本发明对于声学场景中局部声音事件的精细化感知为构建音频特征的语意信息与自然语言语意信息的映射提供了细粒度的信息感知方式,能够有效规避传统方法对于音频事件的误识别与内容忽略,有助于构建更高语意层次的人机交互过程;此外,本发明提供了全新的注意力计算机制,相比传统注意力机制降低了计算成本。
主权项:1.一种融合全局场景与局部事件信息的音频语意概述方法,其特征在于,包含音频场景时空特征提取器和细粒度语意概述生成器,实际场景所发生的声学信号输入音频场景时空特征提取器,得到了从高维空间表示的场景信息,并保留了各个声音事件的时序特性,突出了各事件信息的潜在表示,从而获得与场景对应的音频特征矩阵;细粒度语意概述生成器首先将词汇表中的离散自然语言词汇表示抽象为潜在的词向量,随后在保障生成概述语序的情况下,对音频特征矩阵进行语意感知,从全局场景和局部事件的角度构建音频特征矩阵到概述语意特征的映射关系,从而生成高质量、高度符合人类语音习惯的场景概述文本。
全文数据:
权利要求:
百度查询: 哈尔滨工程大学 一种融合全局场景与局部事件信息的音频语意概述方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。