龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：云南滇能智慧能源有限公司
摘要：本发明提供基于多模态物联感知与虚实共生的实训方法及系统，涉及物联网技术领域，包括获取实训场景中的物联网多模态传感器数据；基于深度学习算法确定物体特征，语音指令特征，振动特征；将所述物体特征、所述语音指令特征以及所述振动特征通过本体知识图谱和图神经网络模型进行语义关联，确定关联规则并进行特征融合，得到多模态融合特征；基于所述多模态融合特征，通过三维建模构建实训场景对应的虚拟数字孪生模型，通过物联网中间件实现虚拟数字孪生模型与实训场景的双向数据交互和状态映射；根据预设的实训任务难度等级，自适应生成实训指导方案，动态优化所述虚拟数字孪生模型中的各要素权重，生成与目标对象匹配的实训指导信息。
主权项：1.基于多模态物联感知与虚实共生的实训方法，其特征在于，包括：获取实训场景中的物联网多模态传感器数据，所述多模态传感器数据包括视频数据、音频数据和环境数据中至少一种；基于深度学习算法分别对所述视频数据、所述音频数据和所述环境数据进行特征提取，分别确定所述视频数据中实训场景的物体特征，所述音频数据中的语音指令特征，以及所述环境数据中实训场景的设备的振动特征；将所述物体特征、所述语音指令特征以及所述振动特征通过本体知识图谱和图神经网络模型进行语义关联，确定所述物体特征、所述语音指令特征以及所述振动特征对应的关联规则并进行特征融合，得到多模态融合特征；基于所述多模态融合特征，通过三维建模构建实训场景对应的虚拟数字孪生模型，通过物联网中间件实现所述虚拟数字孪生模型与所述实训场景的双向数据交互和状态映射；根据预设的实训任务难度等级，自适应生成实训指导方案，动态优化所述虚拟数字孪生模型中的各要素权重，生成与目标对象匹配的实训指导信息，所述实训指导信息包括三维动画指导、全息影像指导、AR标注指导、振动反馈指导和多通道语音指导中至少一种。
全文数据：
权利要求：
百度查询： 云南滇能智慧能源有限公司 基于多模态物联感知与虚实共生的实训方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号