龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：烟台大学
摘要：本发明涉及情感识别领域，尤其是涉及一种基于多模态情感识别的协作机器人控制方法及系统，包括以下步骤：S1.采样语音数据和视频数据，分别构建单模态数据，对所述单模态数据进行标注和归一化处理，得到多模态情感数据集；S2.构建多模态情感识别网络模型，所述多模态情感模型包括构建自顶向下融合方式、单模态特征提取和多模态特征融合；S3.利用所述多模态情感数据集对多模态情感识别网络模型进行训练；S4.构建协作机器人控制框架，利用所述协作机器人控制框架和训练好的情感识别网络模型构建协作机器人控制系统。本发明通过基于多模态情感识别的协作机器人实现了对人类情感的高效和精准识别，同时提高了操作人员的工作效率。
主权项：1.一种基于多模态情感识别的协作机器人控制方法，其特征在于，包括如下步骤：S1.采样语音数据和视频数据，分别构建单模态数据，对单模态数据进行标注和归一化处理，得到多模态情感数据集；S2.构建多模态情感识别网络模型，所述多模态情感识别网络模型包括构建自顶向下融合方式、单模态特征提取和多模态特征融合；S3.所述自顶向下融合方式包括构建单模态编码器，利用单模态编码器对多模态情感数据集进行处理，得到隐状态的单模态的编码后特征和反馈掩码，利用自顶向下融合方式对隐状态的单模态的编码后特征和反馈掩码处理得到新输入特征；S4.所述单模态特征提取和多模态特征融合包括构建单模态编码器和模态间特征融合网络，利用单模态编码器对新输入特征进行处理，得到注意力表示向量，利用模态间特征融合网络对注意力表示向量进行处理，得到最终特征向量；S5.利用多模态情感数据集对多模态情感识别网络模型进行训练，具体步骤包括：将多模态情感数据集处理并输入至多模态情感识别网络模型中；对多模态情感数据集进行自顶向下融合方式、单模态数据特征提取和多模态特征融合，得到最终特征向量；对最终特征向量进行分类并计算损失，并进行前向传播更新优化网络参数，直至网络收敛；最终获得训练好的多模态情感识别网络模型；S6.构建协作机器人控制框架，利用协作机器人控制框架和训练好的多模态情感识别网络模型构建协作机器人控制系统。
全文数据：
权利要求：
百度查询： 烟台大学 一种基于多模态情感识别的协作机器人控制方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号