山东大学;复旦大学;南方科技大学贲晛烨获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉山东大学;复旦大学;南方科技大学申请的专利一种基于骨架时空联合特征交互增强的跨视角步态识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118447576B 。
龙图腾网通过国家知识产权局官网在2025-05-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410595928.2,技术领域涉及:G06V40/20;该发明授权一种基于骨架时空联合特征交互增强的跨视角步态识别方法是由贲晛烨;许文正;张军平;徐尊晓;于仕琪;杨刚强;周洪超设计研发完成,并于2024-05-14向国家知识产权局提交的专利申请。
本一种基于骨架时空联合特征交互增强的跨视角步态识别方法在说明书摘要公布了:本发明涉及一种基于骨架时空联合特征交互增强的跨视角步态识别方法,包括骨架数据预处理、全局时空特征提取网络构建、微时空联合特征提取网络构建、分层特征交互增强融合模块构建、整体框架训练及跨视角步态识别。本发明全局时空特征提取网络,将基于自注意力邻接矩阵的图卷积与大核时间卷积相结合,动态建模关键点间的全局空间关系和长程时间关系。本发明微时空联合特征提取网络,将几帧骨架图聚合为一个时空图,通过时空联合图卷积捕捉关键点间微小的短程动态特征。本发明分层特征交互增强融合模块,在归纳出信息量更大的互补特征的同时避免了对原始分支的负面影响。
本发明授权一种基于骨架时空联合特征交互增强的跨视角步态识别方法在权利要求书中公布了:1.一种基于多尺度骨架时空特征提取的跨视角步态识别方法,其特征在于,包括步骤如下:A、骨架数据预处理对步态骨架序列数据进行预处理,包括骨架数据增强、骨架描述符计算;B、全局时空特征提取网络构建全局时空特征提取网络用于提取关键点间的全局空间关系和长程时间关系,全局时空特征包括全局空间关系和长程时间关系;对于经步骤A预处理后得到的骨架序列数据,计算自注意力邻接矩阵用于提取全局空间关系,然后通过大核时间卷积建模长程时间关系;C、微时空联合特征提取网络构建微时空联合特征提取网络用于建模关键点间的短程时空依赖即微时空联合特征;对于经步骤A预处理后得到的骨架序列数据,将几帧骨架图聚合为一个时空图,通过时空联合图卷积捕捉关键点间微小的短程动态特征;D、分层特征交互增强融合模块构建分层特征交互增强融合模块用于融合全局时空特征提取网络和微时空联合特征提取网络提取的不同特征;对于经步骤B和步骤C得到的不同层级的全局时空特征和微时空联合特征,分别按通道维拼接,通过两组通道维度调整网络和多维度注意力增强融合模块对全局时空特征和微时空联合特征进行充分融合;E、整体框架训练整体框架包括全局时空特征提取网络、微时空联合特征提取网络和分层特征交互增强融合模块,全局时空特征提取网络堆叠提取全局时空特征后,经过输出层作为最后的全局时空特征;微时空联合特征提取网络堆叠提取微时空联合特征后,经过输出层作为最后的微时空联合特征;分层特征交互增强融合模块对全局时空特征和微时空联合特征进行充分融合,经过输出层作为最后的融合特征;独立计算全局时空特征提取网络、微时空联合特征提取网络和分层特征交互增强融合模块的三元组损失,并使用全局时空特征提取网络、微时空联合特征提取网络和分层特征交互增强融合模块的损失的平均值来监督整体框架的训练过程;F、跨视角步态识别将注册集和查询集的步态骨架序列送入训练好的整体框架,通过比较查询样本特征与注册样本特征的相似度,实现身份的确认;步骤B中,全局时空特征提取网络构建,包括:全局时空特征提取网络包括全局空间特征提取网络及长程时间特征提取网络;c、全局空间特征提取网络构建;对于输入全局空间特征提取网络的第l层的输入特征Cl表示输入特征的通道维数,首先将经过两个独立的线性层,然后进行矩阵间相乘,再经过归一化和Softmax函数后,得到自注意力邻接矩阵 其中,是线性层可学习的参数矩阵,Ck表示线性层输出张量的通道维数;计算H头自注意力在得到自注意力邻接矩阵后,进行图卷积运算: 其中,是全局空间特征提取网络的输出,Cl+1表示全局空间特征提取网络输出特征的通道维数;σ·是Mish激活函数;是可学习的参数矩阵;d、长程时间特征提取网络构建;对步骤c全局空间特征提取网络的输出特征通过卷积核大小为9×1的时间卷积提取时间特征: 其中,是全局时空特征提取网络最终的输出特征,TCN·是时间卷积;步骤C中,微时空联合特征提取网络构建,包括:e、微时空子图构建;对于由T帧骨架图组成的人体骨架图序列首先在人体骨架图序列设置一个大小为τ的时间滑动窗口;时间滑动窗口在人体骨架图序列上以步长为1滑动,每滑动一步,都产生一个微时空子图,t时刻的微时空子图其中是窗口中τ帧骨架图的节点组成的节点集,其节点特征用张量表示为时空边用时空邻接矩阵表示,AST是由τ2个邻接矩阵组成的分块矩阵: 其中,A是原始邻接矩阵,I是单位矩阵,i,j=0,1,...,τ-1;时空邻接矩阵将帧内关键点间的连接关系推广到时域,每个关键点都与时间滑动窗口内所有帧中的相同关键点以及其空间邻居关键点相连;对骨架图其第k跳邻接矩阵表示为: 其中,是邻接矩阵第i行第j列的元素,dvi,vj表示骨架图中关键点vi和vj间的最短路径长度;显然,相应的,得到第k跳时空邻接矩阵 f、时空联合图卷积运算;在步骤e定义节点特征和K跳时空邻接矩阵后,在t时刻滑动窗口内进行时空联合图卷积运算: 其中,中的元素是中的元素;分别为第l层微时空联合特征提取网络中时空联合图卷积运算的输入和输出特征,为可学习的参数矩阵;σ·为Mish激活函数;初始化为0,通过与邻接矩阵相加,动态地加强和削弱任意连接;δk是δ中的元素;g、窗口维度压缩;将T组滑动窗口中时空联合图卷积运算得到的输出特征拼接,得到输出的时空统一特征将其输入一个三维卷积对时间窗口进行压缩: 其中,reshape1·将特征维度由T×τN×Cl变换为Cl×T×τ×N,Conv3d·是三维卷积,其卷积核大小为1×τ×1,输出特征维度为Cl+1×T×1×N;reshape2·将特征维度由Cl+1×T×1×N变换为T×N×Cl+1,进而得到第l层微时空联合特征提取网络最终的输出特征
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东大学;复旦大学;南方科技大学,其通讯地址为:250100 山东省济南市历城区山大南路27号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。