买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华中科技大学同济医学院附属协和医院

摘要：本发明公开了一种基于多模态通道融合的重症监护系统，属于重症监护领域，其中，多模态通道融合感知平台，用于持续监测患者的生命体征数据和视频数据；控制平台包括多个沟通机器人，其上搭载有第二摄像头、交互设备和控制器，用于持续记录患者的视频数据并捕获患者的输入信息，推断患者的意图，以及向患者反馈推断结果；分析决策平台用于接收多模态通道融合感知平台和控制平台上传的信息，据此判断当前的任务场景并选取目标模态通道，对患者的生命体征进行监护并推断患者的意图，检测到患者有沟通意图时，控制沟通机器人移动至床旁进行双向床旁沟通。本发明能够主动识别患者的沟通需求并及时作出相应的反应，提高重症监护的有效性和全面性。

主权项：1.一种基于多模态通道融合的重症监护系统，其特征在于，包括：多模态通道融合感知平台、控制平台和分析决策平台；所述多模态通道融合感知平台包括：设置于病床旁的生命体征监护设备和第一摄像头；所述生命体征监护设备用于持续监测患者的生命体征数据并实时上传至所述分析决策平台；所述第一摄像头用于持续记录所述患者视频数据并上传至所述分析决策平台；所述控制平台包括多个沟通机器人；所述沟通机器人上搭载有第二摄像头、交互设备和控制器；所述第二摄像头用于在沟通机器人与患者沟通时，持续记录所述患者的视频数据并上传至所述分析决策平台；所述交互设备用于捕获患者的输入信息并上传至所述分析决策平台；所述控制器用于融合所述第二摄像头和所述交互设备获取的信息，以推断患者的意图；所述交互设备还用于向患者反馈推断结果，实现双向床旁沟通；所述分析决策平台用于接收所述多模态通道融合感知平台和所述控制平台上传的信息，据此判断当前的任务场景后，根据任务场景选取相应的模态通道作为目标模态通道，并基于目标模态通道获取的数据，对患者的生命体征进行监护并推断患者的意图；所述任务场景包括：实时监护、床旁沟通和执行操作；每一个信息获取设备对应一个模态通道；所述分析决策平台，还用于在患者处于持续监护状态且检测到患者有沟通意图时，选取空闲的沟通机器人，并向该沟通机器人发送指令，使其移动至需要沟通的患者床旁，进行双向床旁沟通；所述分析决策平台，还用于在沟通机器人与患者进行双向床旁沟通时，向沟通机器人发送患者的生命体征数据；并且，所述控制器用于融合所述第二摄像头和所述交互设备获取的信息，以推断患者的意图，包括：对所述第二摄像头记录的视频数据和交互模块获取的交互数据分别进行特征提取，得到视频数据特征向量和交互数据特征向量；将所述生命体征数据表达为特征向量，并与所述视频数据特征向量和所述交互数据特征向量整合为综合特征向量；使用机器学习分类模型对所述综合特征向量进行分类，以识别患者的交流意图类别，并使用回归分析模型对患者的连续性意图参数进行预测；结合患者的交流意图类别、连续性意图参数以及上下文信息，推断患者的意图；其中，所述上下文信息包括患者的病史、当前的医疗记录以及当前的治疗状态；沟通机器人处于沟通状态时，所述控制器还用于在所述交互设备接收到患者对于意图推断结果的否定信息时，重新获取信息并对患者意图进行重新推断。

全文数据：

权利要求：

百度查询： 华中科技大学同济医学院附属协和医院 一种基于多模态通道融合的重症监护系统