买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门瑞为信息技术有限公司

摘要：本发明公开了一种基于局部卷积与语义信息的活体检测装置与方法，利用深度神经网络结构的活体检测模型并进行模型推理，活体检测模型包括CNN分支、transformer分支、语义信息对齐模块及模型损失计算模块，带多尺度池化的多头自注意力模块作为transformer模块的一部分，通过压缩特征序列长度和增强特征表示能力，进一步提升了模型的性能。本发明利用局部卷积以显著降低模型参数量及内存访问次数，在保障模型原有判别性以及抗干扰能力的情况下，使活体检测模型能够在资源受限的设备或场景中运行，实现对图像中的真假人脸进行准确区分，具有较高的真人通过率和抵抗各类攻击的能力。

主权项：1.一种基于局部卷积与语义信息的活体检测装置，包括图像获取模块，用于获取待检测用户的人脸图像，对人脸图像进行归一化操作后输入到经训练的活体检测模型，其特征在于：活体检测装置使用基于深度神经网络结构的活体检测模型并进行模型推理，活体检测模型包括CNN分支、transformer分支、语义信息对齐模块及模型损失计算模块；CNN分支包括局部卷积模块及多尺度注意力模块，局部卷积模块包括局部卷积及逐点卷积，使用局部卷积对图像的部分通道进行卷积处理，其余通道维持原状，使用逐点卷积充分利用不同通道的信息，进一步提取特征；多尺度注意力模块用于在CNN分支的不同阶段提取具有长距离上下文信息的特征表示，通过使用不同尺度的卷积操作以得到注意力权重，为特征图中的不同位置分配不同的权重；transformer分支包括多个transformer模块，用于在训练阶段辅助训练CNN分支，transformer模块具有多尺度池化的多头自注意力模块，用以压缩特征序列长度和增强特征表示能力；transformer模块的处理步骤包括：步骤B1、形状为[C,H,W]的输入特征经特征序列化后变成形状为[HP×WP,C]的张量，其中P为Patch的大小；步骤B2、步骤B1的张量经过带多尺度池化的多头自注意力模块，多头自注意力模块利用不同尺度的池化层，获取不同尺度的上下文信息并减小的尺寸；步骤B3、将步骤B1的输出和步骤B2的输出相加并进行层归一化处理；步骤B4、将步骤B3的输出送入前馈神经网络，前馈神经网络由局部卷积和激活函数组成，进行非线性变换和映射，获取二维近邻信息，增强模型的表示能力；步骤B5、将步骤B3的输出和步骤B4的输出相加并进行层归一化处理；步骤B6、对步骤B5的输出进行特征解序列化操作，使输出特征变为形状为[C,HP,WP]的张量；所述语义信息对齐模块用于对齐CNN分支和transformer分支提取的特征表示；模型损失计算模块包括逐通道蒸馏损失、交叉熵损失及整体损失；逐通道蒸馏损失用于将transformer分支的知识传递给CNN分支，逐通道蒸馏损失的计算公式如下 其中，用于控制概率分布平滑度的超参数；为图像样本数量；C为特征图的通道数；H为特征图的高；W为特征图的宽； 表示第i张图像在transformer分支中，第c通道且像素位置索引为j的输出特征；表示第i张图像在CNN分支中，第c通道且像素位置索引为j的输出特征；表示特征图中的图像索引；c表示特征图的通道索引；表示图特征像素索引；：表示以为自变量的函数；表示第i张图像、第c通道的输出特征；表示以自然指数e为底数的指数函数，该函数保证输出非负性、增强数值稳定性；CNN分支及transformer分支分别计算交叉熵损失，交叉熵损失计算公式如下， 其中，为图像标签；为模型预测值；整体损失函数的计算公式如下， 其中，为逐通道蒸馏损失的权重；为CNN分支的交叉熵损失；为transformer分支的交叉熵损失；为CNN分支的交叉熵损失的权重；为transformer分支的交叉熵损失的权重；为逐通道蒸馏损失；活体检测模型推理时，对图像进行归一化操作后输入到活体检测模型中，活体检测模型的输出为形状为[N,2]的活体分数，取最大分数对应的类别为模型预测类别。

全文数据：

权利要求：

百度查询： 厦门瑞为信息技术有限公司 基于局部卷积与语义信息的活体检测装置与方法