浙江大学雷可获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学申请的专利一种跨模态学习的偏好优化增强三维面部生成方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120510260B 。
龙图腾网通过国家知识产权局官网在2025-11-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511006660.5,技术领域涉及:G06T13/40;该发明授权一种跨模态学习的偏好优化增强三维面部生成方法和系统是由雷可;叶振辉;赵洲设计研发完成,并于2025-07-22向国家知识产权局提交的专利申请。
本一种跨模态学习的偏好优化增强三维面部生成方法和系统在说明书摘要公布了:本发明公开了一种跨模态学习的偏好优化增强三维面部生成方法和系统,属于三维说话人面部生成领域。获取包含情感标签的第一数据集和不包含情感标签的第二数据集;以课程学习方式训练一个引入时序感知混合专家机制和情感控制机制的面部生成扩散模型,先以第二数据集对模型进行音频‑唇动同步预训练,再以第一数据集对模型进行情感驱动微调训练;引入闭环偏好优化机制,用奖励模型评估生成面部动画的情感自然性,联合音唇同步工具筛选胜‑负样本对,通过偏好损失和流匹配损失的联合优化迭代增强模型;利用优化后的面部生成扩散模型生成满足偏好条件的面部动画。本发明提高了跨模态输入条件下的高精度音唇同步、多情绪自然表达和个性化适配能力。
本发明授权一种跨模态学习的偏好优化增强三维面部生成方法和系统在权利要求书中公布了:1.一种跨模态学习的偏好优化增强三维面部生成方法,其特征在于,包括: 1获取包含情感标签的第一数据集和不包含情感标签的第二数据集,两个数据集内均包含面部图像序列及其对应的驱动音频,所述情感标签为反映每一帧图像表情状态的参数组; 2以课程学习方式训练一个引入时序感知混合专家机制和情感控制机制的面部生成扩散模型,课程学习过程中先以第二数据集对模型进行音频-唇动同步预训练,预训练时以人物身份特征嵌入和驱动音频嵌入作为输入条件;再以第一数据集对模型进行情感驱动微调训练,微调训练时以人物身份特征嵌入和驱动音频嵌入作为输入条件,并基于情感控制机制注入情感标签嵌入;情感控制机制是指利用情感自适应归一化模块代替DiT模型的标准归一化层,所述情感自适应归一化模块的计算公式如下: ; 其中,、是线性投影层,x、e分别是情感自适应归一化模块的输入特征和情感标签嵌入,表示L2范数,D为输入特征维数,表示情感自适应归一化模块; 3引入闭环偏好优化机制,通过奖励估计模型预测面部生成扩散模型所生成面部动画的情感自然性评分,结合音唇同步评估工具生成胜负样本对,并联合偏好优化损失函数和流匹配损失更新面部生成扩散模型,迭代多轮以实现偏好优化增强; 偏好优化损失函数如下: ; 其中,表示偏好优化损失;表示当前面部生成扩散模型参数下胜负样本对的流匹配损失的差值,表示上一轮面部生成扩散模型参数下胜负样本对的流匹配损失的差值,表示时间步t服从区间[0,1]上的连续均匀分布,、表示胜负样本对,表示缩放因子,表示sigmoid函数,E表示期望; 4利用优化后的面部生成扩散模型生成满足偏好条件的面部动画。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励