深圳北理莫斯科大学李成明获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉深圳北理莫斯科大学申请的专利一种脑启发的开放词汇多模态情绪识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121579958B 。
龙图腾网通过国家知识产权局官网在2026-04-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202610108689.2,技术领域涉及:G06F18/21;该发明授权一种脑启发的开放词汇多模态情绪识别方法是由李成明;张子蕴;胡希平;郑建波设计研发完成,并于2026-01-27向国家知识产权局提交的专利申请。
本一种脑启发的开放词汇多模态情绪识别方法在说明书摘要公布了:本发明公开了一种脑启发的开放词汇多模态情绪识别方法,涉及多模态情感计算技术领域,该方法包括:获取待识别对象的音频数据、视频数据及文本数据并进行特征提取,得到声学特征、视觉特征与语义特征,映射形成多模态特征;构建情感线索数据集MER‑CLUE,采用LoRA方法对线索生成基座大语言模型进行参数调整,获得线索生成大语言模型;利用线索生成大语言模型生成线索提示;对情感推理基座大语言模型进行情感推理训练,基于情感推理大语言模型生成开放词汇情绪描述并输出情感识别结果。本发明实现多模态统一情感表达,并生成可解释的开放词汇情绪描述;结合优化,提高情感识别准确性、泛化性与训练效率。
本发明授权一种脑启发的开放词汇多模态情绪识别方法在权利要求书中公布了:1.一种脑启发的开放词汇多模态情绪识别方法,其特征在于,包括: 获取待识别对象的音频数据、视频数据及文本数据并进行特征提取,得到声学特征、视觉特征与语义特征,将所述声学特征、视觉特征与语义特征映射至统一的情感语义空间,形成多模态特征; 在所述待识别对象的音频数据和视频数据基础上,构建情感线索数据集MER-CLUE;所述在所述待识别对象的音频数据和视频数据基础上,构建情感线索数据集MER-CLUE,包括:将所述待识别对象的音频数据和视频数据输入至预设的线索生成基座大语言模型,由所述线索生成基座大语言模型生成与情绪状态相关的音频情感线索文本和视频情感线索文本;对生成的音频情感线索文本和视频情感线索文本进行汇集与存储,形成用于描述多模态情感感官证据的情感线索数据集MER-CLUE; 采用LoRA方法对预设的线索生成基座大语言模进行参数调整,基于情感线索数据集MER-CLUE对所述线索生成基座大语言模型进行优化,以得到线索生成大语言模型;所述基于情感线索数据集MER-CLUE对所述线索生成基座大语言模型进行优化,以得到线索生成大语言模型,包括:构建线索生成基座大语言模型对应的音频情绪线索描述与视频情绪线索描述,其形式化表述如下: ; ; 其中,是声学情感嵌入表示,是视觉情感嵌入表示,是语义情感嵌入表示,是语义特征向量,是线索生成基座大语言模型生成的线索描述,LLM是预设的线索生成基座大语言模型,是确保生成文本与MER-CLUE中的线索匹配的交叉熵损失,第i个样本的声学情感嵌入表示,是第i个样本的视觉情感嵌入表示,是第i个样本的语义情感嵌入表示,是第i个样本的语义特征向量,是第i个样本对应的情绪线索文本,N是样本总数,logP|是对数概率; 在训练完成后,将所得到的具备细粒度线索生成能力的线索生成基座大语言模型固化为线索生成大语言模型; 基于线索生成大语言模型,对待识别对象的音频数据和视频数据分别生成音频线索文本和视频线索文本,并拼接形成线索提示,将所述线索提示与多模态特征作为线索生成大语言模型的推理输入; 在包含线索提示的推理输入基础上,采用LoRA方法对预设的情感推理基座大语言模型进行情感推理训练; 基于情感推理训练得到的情感推理大语言模型,生成开放词汇情绪描述,最终输出情感识别结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人深圳北理莫斯科大学,其通讯地址为:518115 广东省深圳市龙岗区龙城街道国际大学园路1号深圳北理莫斯科大学主楼504;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励