买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东建筑大学

摘要：一种基于Transformer与CNN的静默活体检测方法，CNN分支主要是通过增大感受野，来提取底层空间特征；Transformer分支主要是通过全局自我关注，来捕获高级语义上下文信息。为了将两个分支中提取的相同分辨率的特征图进行融合，引入了新的注意力特征融合模块‑AFF，有效的解决了简单初始合成带来的问题。

主权项：1.一种基于Transformer与CNN的静默活体检测方法，其特征在于，包括如下步骤：a基于ViT模型分支及ResNet模型分支构建并训练得到人脸活体检测模型，VIT分支由一个PatchEmbed模块及七个ViTBlock组成，ResNet分支由一个Stem模块及三个CNNBlock组成；b将预处理好的224×224大小的人脸图像输入到人脸活体检测模型的ResNet分支中，人脸图像经过Stem模块后输出得到56×56的特征图，将56×56的特征图输入到第一CNNBlock中，输出得到56×56的特征图，将第一CNNBlock输出的56×56的特征图输入到第二CNNBlock中，输出得到28×28的特征图，将第二CNNBlock输出的28×28的特征图输入到第三CNNBlock中，输出得到14×14的特征图；c将预处理好的224×224大小的人脸图像输入到人脸活体检测模型的VIT分支中，人脸图像经过PatchEmbed模块中，输出得到196×768的特征图，将196×768的特征图依次输入到第一个ViTBlock中，第一个ViTBlock的输出作为第二个ViTBlock的输入，第二个ViTBlock的输出作为第三个ViTBlock的输入，第三个ViTBlock的输出作为第四个ViTBlock的输入，第四个ViTBlock的输出作为第五个ViTBlock的输入，第五个ViTBlock的输出作为第六个ViTBlock的输入，第六个ViTBlock的输出作为第七个ViTBlock的输入，第七个ViTBlock输出14×14的特征图；d将第七个ViTBlock输出14×14的特征图输入到第一上采样单元中进行上采样操作，得到28×28的特征图，将28×28的特征图输入到第二上采样单元中进行上采样操作，得到56×56的特征图；e将第二上采样单元输出的56×56的特征图及第一CNNBlock输出的56×56的特征图一起输入到第一AFF模块中，输出得到融合后的56×56的特征图，将融合后的56×56的特征图进行下采样操作后输入到第二AFF模块中，将第一上采样单元输出的28×28的特征图及第二CNNBlock输出的28×28的特征图一起输入到第二AFF模块中，输出得到融合后的28×28的特征图，将融合后的28×28的特征图进行下采样操作后输入到第三AFF模块中，将第七个ViTBlock输出的14×14的特征图及第三CNNBlock输出的14×14的特征图一起输入到第三AFF模块中，输出得到融合后的14×14的特征图；f将融合后的14×14的特征图输入到HP模块中，输出得到512维的1×1的特征图；g将512维的1×1的特征图输入到FC模块中，输出得到一个2维的输出，该2维输出为概率值，当概率值大于等于阈值时，表示预测为活体，当概率值小于阈值时，表示预测为非活体；步骤b中第一CNNBlock依次由三个BasicBlock构成，所述BasicBlock依次由卷积层、BN层及ReLu层构成，所述卷积层的卷积核大小为3、步长为1；步骤b中第二CNNBlock及第三CNNBlock均依次由四个BasicBlock构成，所述BasicBlock依次由卷积层、BN层及ReLu层构成，第一个BasicBlock的卷积层的卷积核大小为3、步长为2，第二个BasicBlock、第三个BasicBlock及第四个BasicBlock的卷积层的卷积核大小为3、步长为1。

全文数据：

权利要求：

百度查询： 山东建筑大学 一种基于Transformer与CNN的静默活体检测方法