买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于RPE‑I相对位置编码的RPEPose关节点检测模型，包括CNN特征提取器、VisionTransformer编码器和检测器三个模块；CNN特征提取器采用改进的ResNet‑50网络架构通过卷积操作、最大池化操作和下采样操作提取人体检测框中的人体特征；VisionTransformer编码器经过三层基于RPE‑I相对位置编码的注意力层的计算捕捉图像块之间特征向量的长距离空间相互作用；检测器预测关键点热图。本发明给Transformer编码器提供了图像块之间的相对位置信息，增强了其对图像的理解能力，为跌倒检测算法框架提供一个计算量更少，而精度更高的姿态估计模型。

主权项：1.一种基于RPE-I相对位置编码的RPEPose关节点检测模型，其特征在于，包括CNN特征提取器、VisionTransformer编码器和检测器三个模块；CNN特征提取器：使用改进的ResNet-50网络架构用于提取人体检测框中的人体特征；在接收到图像后，通过该ResNet-50网络架构一系列的卷积操作、最大池化操作和下采样操作后，得到特征图序列特征图中的特征向量与卷积核的卷积操作由公式1表示： 其中，Igi,j表示一个二维信号，用于表示在特征图中，位于i,j位置的特征，i表示横方向的位置坐标，j表示竖方向的位置坐标；Kem,n也是一个二维信号，表示卷积核的信息，其中，m表示横方向的大小，n代表竖方向的大小；Hei,j则表示的是图像块Igi,j与卷积核Kem,n进行卷积操作后所得到的数据信息；然后采用Reduce操作，利用一个1×1卷积核，把特征图序列通道数缩小一半，因此，在经过Reduce操作后，CNN特征提取器输出二维特征图序列其中d＝256，H＝H’in4,W＝W’in4；VisionTransformer编码器：用于捕捉图像块之间特征向量的长距离空间相互作用；CNN特征提取器输出一个2维空间结构的特征图序列在Transformer编码器中，图像特征映射被展平成一个序列即一个包含L个d维特征向量的序列，其中L＝H×W；经过3个注意力层和前馈网络的计算后，该编码器输出特征序列检测器：用于预测关键点热图；检测器连接到VisionTransformer编码器输出的特征序列上，用于预测M种类型的关键点热图首先，检测器将E重新调整回的形状，然后使用一个1×1卷积将特征序列E的通道维度从d降低到M；若H,W≠H’in,W’in，则在1×1卷积之前使用4×4反卷积进行上采样；一个1×1卷积完全等同于一个逐位置计算的全连接层，全连接层使用公式2计算每个特征图中的像素的预测概率： 其中，qm表示每个特征图中的像素预测为第m个关键点的概率，而pm表示该图像块的真实标签，因此pm的值为0或1，Hq,p则表示该图像块对所有关键点的预测准确率。

全文数据：

权利要求：

百度查询： 西南交通大学 一种基于RPE-I相对位置编码的RPEPose关节点检测模型