买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提供了基于MoE模型的司机风险行为预测系统，所述预测系统安装于工程车辆上，所述预测系统包括：全彩摄像头、边缘计算主机、搭载在边缘计算主机上的AI推理芯片；所述AI推理芯片实现对MoE模型的实时推理，所述边缘计算主机上设置有：身份识别模块、特征提取模块、行为序列模块、风险预测模块、以及预警与决策模块；该系统通过安装在叉车驾驶室内的全彩摄像头，结合AI推理芯片的主机，实现对司机身份的识别和行为监测。系统能够实时分析司机的面部特征、姿态动作，并预测其疲劳等级、注意力分散、情绪异常等风险行为，及时上报预警中心，以采取相应措施，确保操作安全。

主权项：1.基于MoE模型的司机风险行为预测系统，所述预测系统安装于工程车辆上，其特征在于：所述预测系统包括：全彩摄像头、边缘计算主机、搭载在边缘计算主机上的AI推理芯片；所述AI推理芯片实现对MoE模型的实时推理，所述边缘计算主机上设置有：身份识别模块、特征提取模块、行为序列模块、风险预测模块以及预警与决策模块；所述全彩摄像头捕捉司机的面部表情、视线方向和身体姿态的行为特征数据，将行为特征数据发送给边缘计算主机，边缘计算主机对司机身份进行识别和司机行为进行监测，所述身份识别模块用来验证司机身份；所述特征提取模块，在验证到司机身份后，实时提取所述特征数据，并将提取的特征数据传输至行为序列模块；所述行为序列模块对特征数据进行预处理和序列化，形成适合MoE模型分析的序列化数据；所述风险预测模块接收序列化数据，进行深入分析，并生成风险评估结果；所述预警与决策模块根据风险评估结果，执行预警和决策支持功能；所述MoE模型由多个专家和网络组成，每个专家和网络针对司机行为的不同方面进行分析，所述专家和网络中的分析为对输入的图像信息使用模型MTCNN提取图像中的人脸位置信息以及人脸特征信息；使用MMPose提取肢体特征点位置信息；使用马氏距离公式根据提取的人脸特征计算距离信息，将距离信息与边缘计算主机的数据库进行比对完成司机身份认证；所述预测系统提取特征数据，且对特征数据进行预处理和序列化的实现方式具体为：S1、提取视觉数据：使用模型MTCNN提取人脸面部特征，FfaceFeature＝MTCNNI，其中，I是输入图像，FfaceFeature是提取的人脸特征集；使用MMPose提取肢体特征，FbodyFeature＝MMPoseI，其中，FbodyFeature是人体特征集；S2、车速信息：车速直接作为特征，对车速进行归一化：Fspeed＝fspeed；Fspeed是通过函数归一化到0到1之间，防止后续训练的梯度爆炸；S3、9轴姿态数据：其中包含x轴，y轴，z轴的加速度、角速度和磁场角信息：Fsensor＝extractFeaturesS，其中S是传感器数据；extractFeatures是传感器数据特征提取函数，即数据处理集合，其中包含对传感器原始数据的换算，最后获得符合精度要求的加速度、姿态欧拉角的精确姿态特征数据Fsensor；S4、对特征数据进行特征融合，得到当前时刻经过加权融合处理的特征值：Fcombined_t＝[w1·FfaceFeature：w2·FbodyFeature：w3·Fspeed：w4·Fsensor]，Fcombined_t是指t时刻四类特征矩阵的融合矩阵，其中w1，w2，w3，w4分别是人脸特征矩阵、肢体特征矩阵、车速特征矩阵与姿态特征矩阵的融合权重值；在时间序列层面融合30秒内的行为序列化的特征数据为：Fcombined＝[Fcombined_t-30：Fcombined_t-29：…：Fcombined_t-1：Fcombined_t]；Fcombined表示融合后的行为序列化的特征数据；S5、行为分析：将融合后的特征数据输入到MoE模型中进行预测输出： 其中是模型的预测输出；S6、风险评估：根据MoE模型的输出，评估风险等级： risk_assessment是一个端到端的评估预测模型，将模型的预测输出进行输入，输出风险等级；S7、决策制定：根据风险评估结果以及具体行为结果，制定相应的决策：D是指decison_maker端到端执行决策模型输出的行为决策结果。

全文数据：

权利要求：

百度查询： 福建省特种设备检验研究院 基于MoE模型的司机风险行为预测系统