买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川大学

摘要：本申请涉及一种基于多模态认知数据融合的管制员工作状态检测方法。所述方法包括：收集真实管制工作过程中管制员的多模态数据，并进行数据预处理，得到多模态管制员工作状态数据集；构建基于多模态决策融合的管制员工作状态检测模型，管制员工作状态检测模型包括单模态决策模块和决策级融合模块；基于多模态管制员工作状态数据集训练所述管制员工作状态检测模型；将实时管制员多模态数据输入训练后的管制员工作状态检测模型中，得到目标工作状态。在对管制员工作状态进行检测时，收集多模态的数据，结合机器深度学习对多方面多角度的数据进行分析监测，得到管制员的工作状态概率分布，实时确定管制员的工作状态，能够准确检测管制员的工作状态。

主权项：1.一种基于多模态认知数据融合的管制员工作状态检测方法，其特征在于，所述方法包括：收集真实管制工作过程中管制员的多模态数据，并进行数据预处理，得到多模态管制员工作状态数据集；构建基于多模态决策融合的管制员工作状态检测模型，所述管制员工作状态检测模型包括单模态决策模块和决策级融合模块，其中，所述单模态决策模块用于基于单模态数据得到对应的工作状态，所述决策级融合模块用于融合各个单模态决策模块的工作状态得到最终工作状态；基于所述多模态管制员工作状态数据集训练所述管制员工作状态检测模型；将实时管制员多模态数据输入训练后的所述管制员工作状态检测模型中，得到目标工作状态；所述数据预处理包括：收集真实管制工作过程中的语音数据、眼动数据、完整头部图像数据、生理数据；基于所述语音数据、眼动数据、完整头部图像数据、生理数据按照时间戳添加工作状态标签；所述单模态决策模块包括语音数据决策模块、眼动数据决策模块、图像数据决策模块和生理数据决策模块，其中，所述语音数据决策模块用于基于语音数据得到对应的工作状态，所述眼动数据决策模块用于基于眼动数据得到对应的工作状态，所述图像数据决策模块用于基于完整头部图像数据得到对应的工作状态，所述生理数据决策模块用于基于生理数据得到对应的工作状态；所述语音数据决策模块包括音频预训练模块、解码器模块和决策模块，其中，所述音频预训练模块用于确定语音帧的特征表示向量，所述解码器模块用于解析所述特征表示向量得到语音信号的识别文本以及对应的情感概率分布，所述决策模块用于确定管制员工作状态；所述眼动数据决策模块包括图像编码模块、输入嵌入模块和解码器，其中，所述图像编码模块用于确定注视点分布特征，所述输入嵌入模块用于确定眼部肌肉运动特征，所述解码器用于确定管制员工作状态；所述图像数据决策模块包括图像编码模块、分类模块和解码器，其中，所述图像编码模块用于确定图像表征，所述分类模块用于确定图像信号对应的人脸表情标签的概率分布以及头部姿态标签，所述解码器用于确定管制员工作状态；所述生理数据决策模块包括输入嵌入模块和时序建模模块，其中，所述输入嵌入模块用于确定生理信息特征，所述时序建模模块用于确定管制员工作状态。

全文数据：

权利要求：

百度查询： 四川大学 基于多模态认知数据融合的管制员工作状态检测方法