浙江孚宝智能科技有限公司贾国强获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江孚宝智能科技有限公司申请的专利基于多模态数据融合的人体运动姿态识别方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120804842B 。
龙图腾网通过国家知识产权局官网在2025-12-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511293017.5,技术领域涉及:G06F18/241;该发明授权基于多模态数据融合的人体运动姿态识别方法及系统是由贾国强;党维纳;顾辉欣;李新;梁亚龙;陈亮;金乐胜设计研发完成,并于2025-09-11向国家知识产权局提交的专利申请。
本基于多模态数据融合的人体运动姿态识别方法及系统在说明书摘要公布了:本申请公开了一种基于多模态数据融合的人体运动姿态识别方法及系统,涉及姿态识别技术领域,其首先同步获取人体运动姿势视频帧与IMU片段,接着,采用分路并行的方式对这两种异构数据进行特征提取,分别捕捉视觉的空间姿态信息和IMU的动态惯性特征。随后,将这些模态特定的特征通过混合Token化与嵌入机制进行统一表示,进一步引入了空间‑惯性协同注意力融合机制实现跨模态信息的动态关联与深度融合,最后将融合得到的的多模态融合表征向量进行分类以实现对人体运动姿态的精确识别。这样,能够克服传统融合对细微动作差异捕捉不足的缺陷,提升复杂场景下动作识别的精准度与稳定性。
本发明授权基于多模态数据融合的人体运动姿态识别方法及系统在权利要求书中公布了:1.一种基于多模态数据融合的人体运动姿态识别方法,其特征在于,包括:获取人体运动姿势视频帧和与所述人体运动姿势视频帧对齐的IMU片段; 对所述人体运动姿势视频帧和所述IMU片段进行分路并行特征提取以得到骨骼姿态向量和惯性特征矩阵; 对所述骨骼姿态向量和所述惯性特征矩阵进行混合Token化与嵌入以得到混合Token序列,包括:以所述骨骼姿态向量中各个位置的人体关键点坐标作为单体空间Token以得到单体空间Token的集合;以所述惯性特征矩阵中的各个行向量作为单体惯性Token以得到单体惯性Token的集合;添加分类Token;对所述单体空间Token的集合中的各个单体空间Token进行线性投射、类型嵌入和视觉模态嵌入以得到单体空间Token最终表示的集合;对所述单体惯性Token的集合中的各个单体惯性Token进行线性投射、位置嵌入和惯性模态嵌入以得到单体惯性Token最终表示的集合; 对所述混合Token序列进行空间-惯性协同注意力融合以得到人体运动姿势多模态融合表征向量,包括:将所述混合Token序列输入异构Transformer编码器层以进行空间-惯性协同注意力融合,具体包括:从单体空间Token最终表示的集合提取代表躯干的核心关节点Token最终表示的子集;对所述代表躯干的核心关节点Token最终表示的子集进行均值池化以得到主体姿势Token表示;将所述主体姿势Token表示输入包含线性层和激活层的第一小型神经网络以得到时间权重;对单体惯性Token最终表示的集合进行全局均值池化以得到关键事件Token表示;将所述关键事件Token表示输入包含线性层和激活层的第二小型神经网络以得到空间权重;将所述时间权重和所述空间权重传输至多头注意力层,其中,所述时间权重或所述空间权重作用于值向量上; 将所述人体运动姿势多模态融合表征向量输入多层感知机分类头以得到最终动作标签。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江孚宝智能科技有限公司,其通讯地址为:311100 浙江省杭州市临平区经济技术开发区天荷路42号6幢7层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励