买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学(深圳)高等研究院

摘要：本发明公开了一种基于轮廓信息的人体姿态估计域泛化方法，首先设置三个子模型并分别采用相应的训练样本集进行预训练，包括实例分割模型，轮廓检测模型和初始人体姿态估计模型，然后基于预训练好的三个子模型构建基于轮廓信息的人体姿态估计模型，采用两个轮廓检测模型分别从输入图像和分割得到的行人图像中提取人体轮廓并融合得到最终的人体轮廓，在初始人体姿态估计模型中视觉提取编码器中每层Transformer编码器后增加幅度处理模块用于对特征进行增强，对基于轮廓信息的人体姿态估计模型进行训练后，采用该模型估计得到输入图像的人体姿态图像。本发明通过引入轮廓信息提高人体姿态估计域泛化的性能。

主权项：1.一种基于轮廓信息的人体姿态估计域泛化方法，其特征在于，包括以下步骤：S1：根据实际需要构建三个子模型并分别采用相应的训练样本集进行预训练，三个子模型分别为：实例分割模型，用于对输入该模型的图像进行背景去除，提取得到人体图像；轮廓检测模型，用于对输入该模型的图像进行轮廓边缘检测；初始人体姿态估计模型，用于对输入该模型的图像中的人体姿态进行估计，初始人体姿态估计模型包括视觉提取编码器和姿态估计解码器，其中视觉提取编码器包括L组堆叠的Transformer编码块，用于逐层从输入图像中提取得到视觉特征，姿态估计解码器用于根据视觉特征生成人体姿态图像；S2：构建基于轮廓信息的人体姿态估计模型，包括实例分割模型，第一轮廓检测模型，第二轮廓检测模型，人体轮廓融合模块，视觉提取编码器和姿态估计解码器，其中：实例分割模型的参数固定为步骤S1中预训练得到的参数，用于从输入图像x中提取人体图像xc，然后将人体图像xc发送至第二轮廓检测模型；第一轮廓检测模型的参数固定为步骤S1中预训练得到的参数Θ，用于从输入图像x提取得到人体轮廓图像Fx；Θ并发送至特征融合模块；第二轮廓检测模型的参数Θc为可训练参数，参数初始值为步骤S1中预训练得到的参数Θ，用于从人体图像xc提取得到人体轮廓图像Fxc；Θc并发送至特征融合模块；人体轮廓融合模块用于对人体轮廓图像Fx；Θ和Fxc；Θc进行融合，得到融合后的人体轮廓图像yc并发送至视觉提取编码器，融合公式如下：yc＝Fx；Θ+ZFxc；Θc；Θz其中，Z·；Θz表示参数为Θz的零卷积层；视觉提取编码器用于分别对输入图像x和人体轮廓图像yc进行视觉特征提取，得到输入视觉特征和人体轮廓视觉特征并输出至姿态估计解码器；视觉提取编码器包括L组堆叠的Transformer编码块和幅度处理模块，其中Transformer编码块的参数固定为步骤S1中预训练得到的参数，第i个幅度处理模块用于对第i个Transformer编码块所输出的两个特征进行幅度处理，i＝1,2,…,L，具体处理方法为：记第i层Transformer编码块提取得到的输入图像特征为人体轮廓图像特征为其中Di表示第i个Transformer编码块所提取得到特征的通道数，Hi×Wi表示第i个Transformer编码块所提取得到特征的尺寸；对输入图像特征Xi和人体轮廓图像特征Xi,c分别进行3维傅里叶变换然后将3维傅里叶变换后的实部和虚部特征进行合并得到对应的频域特征和然后将每个频域特征通过以下公式进行增强： 其中，表示对应元素相乘，σ表示sigmoid激活函数，LN表示层归一化，Conv3×3表示参数核为3x3的卷积核；然后再将增强后的特征Fi′和F′i,c分别进行3维傅里叶逆变换转为空域表示的输入图像特征X′i和行人轮廓特征X′i,c，第1层至i-1层幅度处理模块将所得到的两个特征输出至下一层Transformer编码块，第L层幅度处理模块将所得到的两个特征作为输入视觉特征和人体轮廓视觉特征输出至姿态估计解码器；姿态估计解码器的参数固定为步骤S1中预训练得到的参数，用于根据接收的输入视觉特征和人体轮廓视觉特征分别生成人体姿态图像；S3：根据实际需要获取人体姿态估计的训练样本集，然后对步骤S2构建的基于轮廓信息的人体姿态估计模型进行训练，对第二轮廓检测模型和L个幅度处理模块进行参数更新，得到训练好的基于轮廓信息的人体姿态估计模型；S4：将需要生成人体姿态的图像输入到步骤S3训练好的基于轮廓信息的人体姿态估计模型，得到对应的人体姿态图像。

全文数据：

权利要求：

百度查询： 电子科技大学(深圳)高等研究院 基于轮廓信息的人体姿态估计域泛化方法