龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：浙江大学
摘要：本发明公开了一种面向影视配乐的跨模态音乐生成方法和装置，该生成方法仅仅且同时对空间特征适配器和时序控制器进行训练，与现有技术相比，本发明可以仅仅将需要训练的空间特征适配器和时序控制器加载到GPU中，且不需要分别对空间特征适配器和时序控制器进行训练，从而显著减少内存的使用，提高训练速度。通过训练完成的空间特征适配器和最终音乐查询向量从视觉特征向量中筛选出与音乐相关的音乐特征，以及通过训练完成的时序控制器能够预测出与视频的内容较为一致的预测音乐嵌入，从而得到与视频内容较为一致且较为真实的预测音乐。
主权项：1.一种面向影视配乐的跨模态音乐生成方法，其特征在于，包括：获得多个视频和对应的音乐标签，将音乐标签转换为音乐标记真实值，将多个视频作为样本集；构建训练模型，所述训练模型包括冻结的ViT模型、空间特征适配器和时序控制器，通过ViT模型将样本进行编码得到视觉特征向量，基于视觉特征向量和可训练音乐查询向量通过空间特征适配器筛选出每帧图像的音乐相关特征，将每帧图像的音乐相关特征进行堆叠得到视频帧特征序列，通过多个线性层将音乐标记真实值转换为音乐嵌入，将音乐嵌入右移以展示当前帧之前的帧图像的音乐标记真实值，基于右移的音乐嵌入和视频帧特征序列通过时序控制器得到当前帧图像的预测音乐嵌入，通过重复预测直至得到最后一帧图像的预测音乐嵌入，停止迭代，以得到当前样本的预测音乐嵌入；基于音乐标记和预测音乐嵌入构建交叉损失函数，通过样本集利用交叉损失函数训练空间特征适配器和时序控制器得到跨模态音乐生成模型和最终音乐查询向量；应用时，将输入视频和最终音乐查询向量输入跨模态音乐生成模型得到输入视频的预测音乐嵌入，将预测音乐嵌入转换为音乐标记预测值，对音乐标记预测值进行解码得到预测音乐。
全文数据：
权利要求：
百度查询： 浙江大学 一种面向影视配乐的跨模态音乐生成方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号