买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京航空航天大学;杭州海康威视数字技术股份有限公司

摘要：行人属性识别PAR旨在生成行人的结构化描述，并在监控中具有重要意义。现有方法主要致力于训练过程中提升属性的空间定位。然而，这些方法未能解决数据集中单一视角姿态与现实中遇到的复杂视角姿态之间的差异，导致在开放环境中属性定位效果不佳。因此，本文介绍了一种新的多视角PAR方法，该方法使用人体关键点信息来适应复杂视角姿态。该方法利用关键点来建模属性特征的空间分布，便于进行弱监督定位，以模拟属性与人体在复杂视角下的动态关系。此外，它还结合了空间位置编码来建模人体结构信息，并隐式捕捉属性与人体之间的关系。最后我们应用了特征融合的方法使得空间位置信息发挥更大的作用。

主权项：1.一种适应于复杂视角和行人状态的行人属性识别方法，其特征在于包括以下步骤：A通过Mask-RCNN方法获取关键点信息，通过ResNet-50获取图像特征；B将关键点信息处理为基于关键点的空间位置编码对齐后嵌入属性特征；C将关键点信息整合为人体区域坐标，通过弱监督方法增强属性特征；D将经过关键点引导的图像深浅层特征进行融合，经过分类器形成属性识别结果；其中：步骤B包括：B1为了辨别类似属性之间的空间差异和或增强特征定位，使用相对于关键点编码的坐标以及一个规范化条件来表征关键点分布的变化：KPCx＝PCx-kx， 其中，kx表示关键点的水平轴即x轴坐标，PCx表示x轴坐标层，KPCx表示x轴的坐标信息，abs表示取绝对值，max表示取向量最大值，同样获得表示y轴的坐标信息的KPCy，B2在x轴和y轴信息的基础上可以计算相对于关键点的距离KPCr： 其中max代表取最大值，B3使空间编码特征与属性特征空间保持一致：KPC＝concatKPCx，KPCy，KPCr，KConvI＝ConvconcatI，AlignKPC，fi＝KConvfi其中：Align表示对齐模块，其包括若干个卷积层，Kconv表示空间编码模块，I代表任意输入，Concat函数表示拼接操作，Conv代表卷积层，fi代表属性i的特征，步骤C包括：C1为将关键点以弱监督的方式增强到特征中，重构特征向量，将其视为概率密度分布的特征向量，以反映了属性特征在x坐标轴和y坐标轴上的重要性，其中每个属性仅需要计算两个空间向量，包括：首先使属性特征fi经过一个线性层，得到每个属性在x和y轴上的概率密度分布Fix、Fiy：Fix，Fiy＝linearfi，其中，Fix代表属性i在x轴上的分布打分，Fiy代表属性i在y轴上的分布打分，Linear表示线性层函数，C2为了截断分布，将softmax过程分割，并在不同的坐标轴上计算概率密度函数，遵循期望最大化Expectation-Maximization算法原理即EM算法原理，避免计算定义区域之外的无效点的概率，由此直接截断概率密度分布，其中根据以下公式将softmax过程分割：pxi＝MaskpartexpFxi， 其中：part表示属性所属的身体部位，Mask函数的作用是将部位区域外的概率密度值改变为0，其中这些改变为0的概率密度值被视为异常值且它们的概率密度在计算中被直接忽略，pxi表示受关键点区域限制后得到的概率密度向量，C3由于有两个边界，在上述Mask函数中只截取右边界得到pxi1，只截取右边界得到pxi2，得到概率密度函数可以进一步计算概率分布函数，Pxi1＝Cumsumpxi1，Pxi2＝Cumsumpxi2，Pxi1＝Pxi1·1-Pxi2其中Cumsum表示从左到右的累积求和函数，通过对pxi1进行累积求和得到一个概率分布Pxi1，通过对pxi2进行累积求和得到Pxi2，Pxi1和Pxi2代表经过相同操作后的两个概率密度向量，通过将受两个边界限制的概率分布相乘，得到一个在坐标轴上特定区域受限的分数Pi： 表示矩阵之间的叉乘操作，Pi代表属性i的注意力图，C4通过将两个坐标轴的值相乘，得到一个受关键点限制的空间掩码Pi：fi＝α*fi+1-α*fi*Pi其中，fi表示属性i的特征，α表示权重，由此通过将使用空间掩码增强的特征带权添加到原始特征中，实现了一个精细化的特征图，从而成功地促进了在关键点的指导下对属性特征进行弱监督定位建模，步骤D所述的融合包括：D1为了使空间信息接近数据端，使用关键点引导浅层和深层特征：funcx＝KGMPCMx，KGM指的是关键点引导定位模块，PCM表示空间编码模块，x表示任意输入特征，D2将主干网络的后两层特征图feat4和feat3进行拼接并经过线性层分类得到最终属性Attr：Attr＝FCconcatfuncfeat4，funcfeat3其中，feat3、feat4表示第三、四层的特征，concat为将两个特征的拼接函数，FC为线性层。

全文数据：

权利要求：

百度查询： 北京航空航天大学 杭州海康威视数字技术股份有限公司 适应于复杂视角和行人状态的行人属性识别方法