龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：华南师范大学
摘要：本发明涉及情感识别领域，特别涉及一种多模态情感识别方法，采用特征桥接的方法，将包含有文本信息以及图像信息的全局特征表示以及单模态特征表示进行特征桥接，获得特征桥接表示，实现了自下而上的跨模态对齐以及信息融合，将基于单模态特征表示构建的特征桥接表示进行跨模态特征交互，对文本特征信息以及图像特征信息进行充分感知，提取与情感识别相关的特征信息，用以进行情感识别，提高情感识别的精准度以及效率。
主权项：1.一种多模态情感识别方法，其特征在于，包括以下步骤：获得待测文档数据以及预设的情感识别模型，其中，所述待测文档数据包括待测文本以及待测图像，所述情感识别模型包括全局特征提取模块、单模态特征提取模块、特征桥接模块、特征交互模块、特征融合模块以及情感识别模块；将所述待测文档数据输入至所述特征提取模块中进行全局特征提取，获得所述待测文本对应的文本全局特征表示以及待测图像对应的图像全局特征表示；将所述文本全局特征表示以及图像全局特征表示分别输入至所述单模态特征提取模块中进行单模态特征提取，获得所述单模态特征提取模块的若干层输出的单模态特征表示；将所述文本全局特征表示、图像全局特征、所述单模态特征提取模块的若干层输出的单模态特征表示中的文本单模态特征表示以及图像单模态特征表示输入至所述特征桥接模块中进行特征桥接，获得桥接特征表示；将所述桥接特征表示中的文本桥接特征表示以及图像桥接特征表示输入至所述特征交互模块中进行特征交互，获得文本跨模态特征表示以及图像跨模态特征表示；将所述单模态特征提取模块的最后一层输出的单模态特征表示中的文本单模态特征表示、图像单模态特征表示、所述文本跨模态特征表示以及图像跨模态特征表示输入至所述特征融合模块中进行特征融合，获得多模态特征融合表示；将所述多模态特征融合表示输入至所述情感识别模块中进行情感识别，获得情感识别概率数据，根据所述情感识别概率数据，获得维度最大的情感极性，作为所述待测文档数据的情感识别结果。
全文数据：
权利要求：
百度查询： 华南师范大学 多模态情感识别方法、装置、计算机设备以及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号