买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:同济大学
摘要:本发明涉及图像检测领域,尤其是涉及一种基于CT‑Net模型的驾驶员疲劳检测方法,包括以下步骤:对车载驾驶员行为监管视频进行预处理,在视频帧图像上提取以驾驶员为中心的核心区域;使用数据增强技术;对CLIP模型进行微调提取驾驶员的面部及行为特征;对CLIP模型提取的图像特征进行实例正则化后使用Transformer网络捕捉驾驶员面部及行为特征的时序规律,提取出驾驶员长时间疲劳行为特征;最后通过一层全连接神经网络输出疲劳等级。与现有技术相比,本发明采用的CT‑Net模型不仅在复杂的交通环境中依然能够准确检测驾驶员的疲劳等级,具有较高的准确率和较广的普适性,也能输出文本描述对驾驶员的行为进行更加详细的语义解读。
主权项:1.一种基于CT-Net模型的驾驶员疲劳检测方法,其特征在于,包括以下步骤:步骤S1、从连续的车载驾驶员行为监管视频中截取若干个设定长度的视频片段,并采用面部识别算法对视频片段的每一帧进行以驾驶员面部为中心的核心区域裁剪,得到处理后的驾驶员核心区域视频帧序列,然后按照设定比例将其随机划分为训练集、验证集和测试集;步骤S2:对训练集的视频帧进行数据增强;步骤S3:将CLIP图-文预训练网络的图像编码器输出特征作为Transformer网络的输入特征,将CLIP与Transformer组合构建成CT-Net模型,将步骤S2经过增强的训练集和步骤S1得到的验证集对所述CT-Net模型进行训练,得到训练好的CT-Net模型;步骤S4:将测试集以及对驾驶员状态设计的提示词输入训练好的CT-Net模型中,通过CT-Net模型对驾驶员进行疲劳状态推断,输出驾驶员的疲劳分级以及每一视频帧中驾驶员状态对应的提示词的概率值。
全文数据:
权利要求:
百度查询: 同济大学 一种基于CT-Net模型的驾驶员疲劳检测方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。