买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州电子科技大学

摘要：本发明提供一种基于深度学习的司机危险驾驶动作识别方法及系统；首先采集司机的动作数据；然后搭建数据处理云中心；对TSM模型进行改进；再搭建识别模型，对识别模型进行训练，最后通过搭建好的识别系统及训练好的识别模型进行数据处理得到司机违规检测结果。本发明使用改进的TSM模型算法作为基础算法，模型具有非常大的时间感受野来进行高度复杂的时间建模，把2DCNN转变为了伪3D卷积，可以处理时间和空间信息，但没有增加额外的计算量，不需要较高的配置。本发明使用自制数据集对模型参数进行微调，有效提高模型的泛化能力，增强对特定动作的识别能力，可以广泛应用于驾驶监督领域，规范司机的驾驶动作，有效提高国家交通安全。

主权项：1.一种基于深度学习的司机危险驾驶动作识别方法，其特征在于，步骤如下：步骤一：采集司机的动作数据：通过数据采集模块实时采集司机的动作数据；步骤二：搭建数据处理云中心；数据处理系统采用在线数据处理，搭建数据处理云中心，通过数据传输模块将数据采集模块采集到的司机的动作数据传输至数据处理云中心进行集中处理；步骤三；TSM模型的改进；将视频模型的特征映射表示为A∈RN×C×T×H×W,其中，N表示批处理的数值大小，C是通道数量，T是时间维度，H和W表示空间分辨率；TSM模型在时间维度上对通道进行转移，包括前向和反向，相邻帧的信息会在转移后和现在的帧进行融合；在时间维度上进行±2的转移得到改进的TSM模型；对于在线数据处理，改进的TSM模型处理视频信息从时间维度转变为了通道维度，每次转移所有通道数的14，即后向转移14，用于司机视频数据的在线处理；步骤四：识别模型搭建；识别模型基于CNN网络框架，使用Resnet作为模型的主干网络，将改进后的TSM模型集成为一个计算模块，插入到Resnet残差块中，成为一个变残差块；然后以变残差块为基块搭建好Resnet神经网络模型，即得到识别模型；步骤五：识别模型训练；通过数据采集模块采集规定的司机动作数据：分别要求不同司机作出打电话、打哈欠、频繁眨眼、抽烟、低头动作；将收集到的司机视频数据解耦为图片作为数据集，并将数据集分为训练集和测试集，通过训练集对搭建的识别模型进行训练，获得最优的模型参数，并通过测试集验证效果；步骤六：数据处理；通过数据采集模块采集司机的动作数据，通过数据传输模块将采集到的司机的动作数据传输至数据处理云中心，数据处理云中心将采集到的司机动作视频数据进行预处理解耦为图片，然后输送到数据处理单元；数据处理单元对获得的图片数据进行随机采样，并通过训练好的识别模型进行数据处理，输出司机是否有违规动作以及违规动作的类别，然后通过数据传输模块将结果反馈给司机或公司的管理部门。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种基于深度学习的司机危险驾驶动作识别方法及系统