买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院长春光学精密机械与物理研究所申请的专利基于多模态神经网络框架的人体姿态识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120048006B 。

龙图腾网通过国家知识产权局官网在2025-08-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510536638.5，技术领域涉及：G06V40/20；该发明授权基于多模态神经网络框架的人体姿态识别方法是由张以撒;吕恒毅;赵宇宸;冯阳;孙铭设计研发完成，并于2025-04-27向国家知识产权局提交的专利申请。

本基于多模态神经网络框架的人体姿态识别方法在说明书摘要公布了：本发明涉及计算机视觉和神经网络处理技术领域，尤其涉及一种基于多模态神经网络框架的人体姿态识别方法。包括：采集事件数据，利用五通道事件表示方法表示事件数据；将预处理后的五通道事件数据分为三个通道，空间、事件特性和点云通道；完成通道拆分后，分别进行特征提取，通过动态特征增强以及跨模态融合，将不同模态的特征进行优化和整合；采用骨架约束模块和时空联合处理模块，增强网络对人体结构的理解和时空依赖关系建模；采用预测头模块，输出最终的人体关键点坐标；采用多任务学习框架进行训练优化，得到姿态识别结果。优点在于：有效地处理事件数据的稀疏异步特性，解决静态肢体的“盲点问题”，保持低功耗、实现高精度的人体姿态估计。

本发明授权基于多模态神经网络框架的人体姿态识别方法在权利要求书中公布了：1.一种基于多模态神经网络框架的人体姿态识别方法，其特征在于：具体包括如下步骤： S1.数据预处理：采集事件数据，利用五通道事件表示方法表示事件数据；五通道事件表示方法如下：E'=（x，y，T，P，E； 其中，x、y为像素位置，T为平均时间戳，P为累积极性，E为事件计数； S2.通道拆分与三模态分离：将步骤S1预处理后的五通道事件数据分为三个通道，分别如下：空间通道，包含归一化空间坐标x，y；事件特性通道，包含时间和极性特征T，P，E；点云通道：将完整五通道数据视为点云数据，保留事件的原始三维特性； S3.多模态特征提取：完成通道拆分后，分别对空间通道、事件特性通道、点云通道的数据进行特征提取； S4.动态特征增强与跨模态融合：特征提取后，通过动态特征增强以及跨模态融合，将不同模态的特征进行优化和整合；具体包括： S401.动态特征增强：动态特征增强模块通过通道注意力和空间注意力机制，依据输入特征的统计信息，分别对事件特征和空间特征进行自适应增强处理，增强关键特征； S402.跨模态融合：采用跨模态自适应融合模块对特征进行跨模态融合； S5.骨架约束与时空处理：在特征融合之后，采用骨架约束模块和时空联合处理模块，增强网络对人体结构的理解和时空依赖关系；骨架约束模块是将脉冲神经网络与图卷积相结合，在标准图卷积运算中引入脉冲神经元机制，其流程如下： 先执行标准图卷积操作：；将所得结果Z输入至脉冲神经元：； 其中，X是输入特征，W是权重矩阵，b是偏置，Ã=A+I是添加自连接的邻接矩阵，D̃是Ã的度矩阵，SpikeNeuron为脉冲激活函数； 为增强人体结构合理性，设计骨骼长度一致性损失函数： ； 其中，bone是人体骨架模型中连接两个关键点关节的线段，bones是构成完整人体骨架的所有连接线段，lengthbone是骨骼的长度，std表示标准差； S6.关键点预测与训练：采用预测头模块，输出最终的人体关键点坐标； S7.利用步骤S1的预处理后数据，重复步骤S2~S6进行训练，训练方法包含三级损失函数，并使用替代梯度方法进行反向传播实现端到端训练，得到姿态识别结果；损失函数表示如下： ； 其中，L pose是关键点位置损失，使用均方误差计算预测关键点与真实关键点之间的差异；λ bone表示骨架约束损失的权重系数，L bone是骨架约束损失，确保预测的骨骼长度符合物理约束；λ temp表示时序一致性损失的权重系数，L temp是时序一致性损失，鼓励连续帧之间的平滑过渡。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院长春光学精密机械与物理研究所，其通讯地址为：130033 吉林省长春市经济技术开发区东南湖大路3888号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。