恭喜浙江大学纪守领获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜浙江大学申请的专利一种基于符号语义的异构音乐数据融合方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115049001B 。
龙图腾网通过国家知识产权局官网在2025-04-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210671178.3,技术领域涉及:G06F18/25;该发明授权一种基于符号语义的异构音乐数据融合方法及系统是由纪守领;陈安莹;陈建海;杜天宇设计研发完成,并于2022-06-14向国家知识产权局提交的专利申请。
本一种基于符号语义的异构音乐数据融合方法及系统在说明书摘要公布了:本发明公开了一种基于符号语义的异构音乐数据融合方法及系统,属于异构数据融合领域和音乐信息学分析领域。异构音乐数据获取和特征抽取,经过数据预处理得到异构音乐数据的基本信息和每种数据结构独特的特征,得到关联好的异构音乐数据及其统一的标注序列;定义符号语义解析模型,利用符号语义解析模型从关联好的异构音乐数据及其统一的标注序列中获得稳定的符号语义观测空间,从所述的稳定的符号语义观测空间中获得显著的语义属性和可控的语义约束;根据对显著的语义属性和可控的语义约束的调整,还原或生成符合特定语义约束的改编数据。本发明可以从语义解析过程中获得不同维度的语义属性并加以约束,实现可解释、可控制的音乐数据融合与生成。
本发明授权一种基于符号语义的异构音乐数据融合方法及系统在权利要求书中公布了:1.一种基于符号语义的异构音乐数据融合方法,其特征在于,包括以下步骤:步骤1,异构音乐数据获取和特征抽取,经过数据预处理得到异构音乐数据的基本信息和每种数据结构独特的特征,得到关联好的异构音乐数据及其统一的标注序列;所述的步骤1包括:1-1搜索和收集来自不同网站、以不同数据格式编制的异构音乐数据,包括MIDI文件、音频文件、五线谱标注文件、指法标注文件,收集乐曲名称、流派标签、作曲者标签基本信息;1-2对MIDI文件进行数据分析,抽取多个音轨的音高序列及其时长,将其转换为节奏区间序列、音高集合序列、色度向量序列,进而得到节拍符号标注、旋律符号标注、和弦符号标注;1-3对音频文件进行数据分析,提取频域特征和时域特征,以此进行音源分离、段落识别和音高估计,获取音高集合及其序列将其转换为段落分布序列、音高分布序列、音色分布序列,进而得到结构符号标注、旋律符号标注、和弦符号标注;1-4对五线谱标注文件和指法标注文件进行数据分析,提取节拍标识符、基调标识符、和弦标识符、指位标识符、循环标识符、装饰标识符、段落结构名和未知占位符,进而得到节拍符号标注、结构符号标注、旋律符号标注、和弦符号标注、演奏符号标注、未知符号标注;1-5针对步骤1-2~1-4识别和抽取得到的符号和统计性的数据特征、以及对应的时间片段,通过调性等价性计算和结构化对齐技术,对异构音乐数据相同和独特的特征进行关联,得到关联好的异构音乐数据及其统一的标注序列;步骤2,定义符号语义解析模型,利用符号语义解析模型从关联好的异构音乐数据及其统一的标注序列中获得稳定的符号语义观测空间,从所述的稳定的符号语义观测空间中获得显著的语义属性和可控的语义约束;所述的定义符号语义解析模型,包括定义标签信息和符号序列的编码和学习方式、语义属性以及验证指标、以及还原符号序列的目标函数;利用目标函数对符号语义解析模型训练后,得到显著的语义属性a和可控参数μ、σ2、q;所述的标签信息包括流派标签、作曲者标签;定义标签信息的编码和学习方式包括:根据标签的先验分布,对异构音乐数据集中的流派子集和作曲者子集进行划分,获得数量均匀的数据集;从数量均匀的流派子集和作曲者子集中提取音色分布、和弦符号和节拍号特征,并进行one-hot编码,得到标签语义分布Z;将关联好的异构音乐数据及其统一的标注序列记为异构数据X,经过VAE编码器获得特征编码将标签语义分布Z和特征编码拼接,用于后续训练过程中的对比学习,目标函数为: 其中,fcomposer.为和fgenre.均为多标签分类器,CCE.表示多类别交叉熵的计算,h为对比学习的训练参数,T是流派标签、作曲者标签的总数量,表示特征编码中的第i个向量,zi表示标签语义分布Z中的第i个向量;hcomposer表示作曲者信息的训练参数,hgenre表示流派信息的训练参数,composer_label表示作曲者标签,genre_label表示流派标签;定义符号序列的编码和学习方式包括:将关联好的异构音乐数据及其统一的标注序列记为异构数据X,对异构数据X中已识别的节拍、结构、旋律、和弦、演奏和未知占位符进行one-hot编码,用VAE编码器对四种类型的相关联的异构数据和统一的标注序列进行编码,再分别将VAE编码器中的两个RNN模型编码得到的语义属性进行量化;使用六种掩码对节拍、结构、旋律、和弦、演奏和未知占位符六种符号进行遮盖,额外采用4节、8节、16节长度的三种掩码对编码结果进行遮盖,以旋律召回率和和弦符号召回率为主导目标函数Lreconstruction进行学习,恢复被遮盖的部分;目标函数Lreconstruction的构成如下所示: 其中,Lrhythm-recall表示旋律召回率,Lchord-recall表示和弦召回率;S表示分隔为16节长度的节奏区间的总数,表示第s个16节节奏区间内的旋律召回率,表示第s个16节节奏区间内的和弦召回率;类似地,2S表示分隔为8节长度的节奏区间的总数,表示第s′个8节节奏区间内的旋律召回率,表示第s′个8节节奏区间内的和弦召回率,4S表示分隔为4节长度的节奏区间的总数,表示第s″个4节节奏区间内的旋律召回率,表示第s″个4节节奏区间内的和弦召回率;定义语义属性以及验证指标包括:定义64维的承载语义属性和约束的隐变量空间,用于对样本和已知特征的特征编码进行采样学习,获得函数G和函数Q的后验参数值进行属性观测;在隐变量空间中,采样学习停止的理想条件即得到显著的语义属性是:每一个隐变量的采样结果都能满足下式: 此时可获得稳定的语义观测空间,从隐变量空间学习到稳定的语义观测空间的目标函数是: 其中,zattr表示异构音乐数据中稳定的语义属性;D.表示G函数和Q函数之间的距离计算函数,G.表示特征编码的量化结果,Q.表示对特征编码的量化结果的反向调节结果,表示特征编码经过采样后呈现在隐变量空间中的一个语义属性,表示第r个显著的语义属性,R表示显著的语义属性的数量;μ表示对G函数中的量化参数,特指语义属性之间的均值;σ2表示G函数中的量化参数,特指语义属性之间的方差;q表示对特征编码的反向调节参数,a表示被验证为明显的语义属性;即qattr,表示语义属性在明显的语义属性a的约束下生成的学习参数;x表示某一首乐曲的原始异构数据及其统一的标注序列,表示生成的异构数据及其统一的标注序列;所述的还原符号序列的目标函数为:L=α·Lreconstruction+β·Lregularization+γ·Lcontext其中,Lreconstruction表示旋律特征、和弦特征和其他特征的解耦和恢复程度,Lregularization表示语义属性和语义约束的可控程度,Lcontext表示流派标签、作曲者标签等信息在隐变量空间的内聚与耦合程度,α、β、γ为权重;步骤3,根据对显著的语义属性和可控的语义约束的调整,还原或生成符合特定语义约束的改编数据;所述的步骤3包括:3-1用户根据稳定的符号语义观测空间和显著的语义属性,选择语义约束嵌入VAE解码器中,获得密度测量后的潜在的语义属性a′和可控参数σc、μc、qattr;3-2通过密度测量后的潜在的语义属性a′和可控参数σc、μc、qattr,控制乐段的补全和生成:所述的补全过程中,通过原有的显著的语义属性a和潜在的语义属性a′对经过采样和反向调节的特征编码进行解码,由VAE解码器计算得到新的符号标注;其中表示新生成的长度为s″的异构音乐片段,A={a,a′}为受控语义属性的集合;所述的生成过程中,由VAE解码器计算得到新生成的符号标注,表示新生成的所有乐曲曲目的异构音乐数据;所述的步骤3-1包括:3.1-a稳定的符号语义观测空间中的第一观测基底来自于采样空间中表示节拍、结构、旋律、和弦和演奏符号标注的向量,是第一观测基底上的数值,服从于Nμc,diagσc分布,ck是隐变量空间中的第k个约束,μc和σc是在采样空间的约束分布μ、σ2的基础上采样学习并反馈传播得到的控制参数;第二观测基底是隐变量空间中的显著的语义属性a,是第二观测基底上的数值;若不同语义属性的μc的分布是均匀的,并且经由参数计算获得的均匀分布于第二观测基底,即两个观测基底上的分布密度都是均匀的,则将计算获得的作为潜在的语义属性a′;3.1-b第一观测基底和第二观测基底构成二维的符号语义观测空间,通过选择不同的采样空间的约束分布μ、σ2和语义属性的学习参数qattr在二维的符号语义观测空间进行观测,采用距离计算函数D.计算a和a′之间的欧氏距离;当Da,a′=0时,表示潜在的语义属性a′和原有显著的语义属性a相同,表示语义约束嵌入失败,潜在的语义属性不可控;当Da,a′服从单调关系,并且语义属性a′随着坐标轴均匀发生变化,表示语义约束嵌入成功,即新形成的潜在的语义属性a′受到可控的约束,记为语义约束c,从而能够获得可预测的生成结果;3.1-c对语义属性a或a′进行线性插值,计算作为语义约束对属性观测空间的影响程度;其中表示在隐变量空间中第m种语义属性下采样结果之间的距离总和,sgnDz表示在采样空间中语义属性之间的距离总和;观测语义约束对属性观测空间的影响程度,同时调节采样空间和隐变量空间每一维度的控制参数σ、μ、q,并记录语义属性的变化范围和其余特征的波动情况,直至原有的语义属性不复存在;记录单个语义属性的控制参数q的可调节范围和受影响的采样学习参数的权重反向传播获得σc、μc、qattr控制参数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。