首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于生成对抗网络和细粒度感知特征提取的歌声合成方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:大连海事大学

摘要:本发明公开了一种基于生成对抗网络和细粒度感知特征提取的歌声合成方法,包括:提取汉语歌声语料库中的歌声信号获得Mel标度的时频谱、基频轮廓信息及一阶前向差分轮廓信息;构建汉语音素表和MIDI映射表,构建训练集和测试集,构建生成对抗网络模型,该模型包括生成器、细粒度感知信息提取网络和判别器,对该生成对抗网络模型进行训练,其中训练过程包括两个阶段,将测试集中的音素序列、MIDI序列、音符持续时间序列通过词嵌入方式转换为嵌入向量并输入至生成器中获得高表现力Mel谱图,对高表现力Mel谱图进行上采样以及降维操作生成高表现力歌声。

主权项:1.一种基于生成对抗网络和细粒度感知特征提取的歌声合成方法,其特征在于包括:提取汉语歌声语料库中的歌声信号获得Mel标度的时频谱、基频轮廓信息及一阶前向差分轮廓信息;构建汉语音素表和MIDI映射表,将歌声语料库中与歌声信号对应的歌词转化为中文音素序列、对应的音符转化为MIDI序列,将音符的持续时间序列转换为音符帧长序列,将音素持续时间以帧长形式表示;构建训练集和测试集,其中训练集包括音素序列、MIDI序列、音符持续时间序列、音素持续时间序列、真实歌声Mel谱图以及基频轮廓和基频一阶前向差分轮廓,测试集包括音素序列、MIDI序列和音符持续时间序列;构建生成对抗网络模型,该模型包括生成器、细粒度感知信息提取网络和判别器,其中生成器包括编码器、变量适配模块、解码器和后处理模块,细粒度感知信息提取网络包括完成预训练的VGG-19卷积神经网络,判别器包括VGG-19卷积神经网络;对该生成对抗网络模型进行训练,其中训练过程包括两个阶段,第一阶段只训练生成器,第二阶段将细粒度感知信息提取网络和判别器加入并同时进行训练;将测试集中的音素序列、MIDI序列、音符持续时间序列通过词嵌入方式转换为嵌入向量并输入至生成器中获得高表现力Mel谱图,对高表现力Mel谱图进行上采样以及降维操作生成高表现力歌声。

全文数据:

权利要求:

百度查询: 大连海事大学 基于生成对抗网络和细粒度感知特征提取的歌声合成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。