买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东航技术应用研发中心有限公司申请的专利基于多模态的暴力分拣与装卸动作识别方法、系统及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117218723B 。

龙图腾网通过国家知识产权局官网在2025-08-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311255734.X，技术领域涉及：G06V40/20；该发明授权基于多模态的暴力分拣与装卸动作识别方法、系统及装置是由吕一樵;杨昭;梁永东;张伯熹;李福娟;李炎设计研发完成，并于2023-09-26向国家知识产权局提交的专利申请。

本基于多模态的暴力分拣与装卸动作识别方法、系统及装置在说明书摘要公布了：本发明属于动作识别领域，具体涉及了一种基于多模态的暴力分拣与装卸动作识别方法、系统及装置，旨在解决现有的监督检测暴力分拣与装卸方式只能通过监督人员提醒或行李分拣监控透明化，需要耗费较大的人力的问题。本发明包括：获取待进行动作识别的人员的第一行为数据以及视频数据；经过长短期记忆时序网络转换后输入数据分析算法模型，得到第一运动状态数据；根据跟踪框数据、光流特征和文本信息数据的多模态融合，得到第二运动状态数据；基于云协同的端到端系统并结合第一、第二运动状态数据，得到人员的动作识别结果。本发明通过将第一运动状态数据与多模态融合的动作识别检测结果结合判断，降低了人员分拣和卸货暴力的行为的误检程度。

本发明授权基于多模态的暴力分拣与装卸动作识别方法、系统及装置在权利要求书中公布了：1.基于多模态的暴力分拣与装卸动作识别方法，其特征在于：所述方法包括： 获取待进行动作识别的人员的第一行为数据以及视频数据；所述第一行为数据为人员的运动数据和心率数据；待进行识别的动作包括暴力分拣、暴力卸装；所述运动数据包括：分拣和或装卸人员的挥臂方向数据、挥臂角速度数据、挥臂线速度数据、挥臂频率数据、挥臂幅度数据； 将所述第一行为数据转化为第二行为数据，将所述第二行为数据输入训练好的数据分析算法模型，得到第一运动状态数据； 所述数据分析算法模型，其训练方法为： 获取t时刻的多个所述第一行为数据；t1； 获取t-1时刻的多个所述第一行为数据，输入至长短期记忆时序网络中，得到t时刻的第一行为数据对应的预测数据； 将所述第一行为数据及其对应的预测数据融合，将融合后的数据为第二行为数据； 将所述第二行为数据编码为M个1xN大小的向量，并构建M*N的矩阵，所述N为所述运动数据的个数与所述心率数据的个数的总和； 将构建的M*N的矩阵编码后输入到逻辑回归模型中进行训练，将训练后的逻辑回归模型作为数据分析算法模型； 基于所述视频数据，获取多个跟踪框数据、多个光流特征和文本信息数据，将多个所述跟踪框数据和所述文本信息数据进行多模态融合，得到融合数据，将所述融合数据与所述光流特征再进行融合，得到第二运动状态数据；根据所述第一运动状态数据和所述第二运动状态数据获取人员的动作识别结果； 所述第二运动状态数据，其获取方法为：将所述文本信息数据和所述多个所述跟踪框数据输入至clip多模态算法模型中，得到融合数据；将所述视频数据输入至光流算法模型中获取光流特征，并在所述光流算法模型的head层将所述光流特征和所述融合数据进行再次融合，得到第二运动状态数据。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东航技术应用研发中心有限公司，其通讯地址为：201707 上海市青浦区香花桥街道北青公路8228号一区18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。