买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门熵基科技有限公司

摘要：在本申请提供的跨模态活体融合检测方法、装置、存储介质和计算机设备中，获取待检测活体的可见光图像和近红外图像；确定跨模态活体检测模型，跨模态活体检测模型用于提取样本可见光图像特征和样本近红外图像特征，并采用特征差异损失函数和对齐损失函数，监督优化样本可见光图像特征和样本近红外图像特征对应的双模态融合特征；利用跨模态活体检测模型提取可见光图像的目标可见光图像特征、近红外图像的目标近红外图像特征，以及可见光图像和近红外图像对应的目标双模态融合特征，并根据目标可见光图像特征、目标近红外图像特征和目标双模态融合特征，通过预设得分函数和预设分类器，得到跨模态检测结果。如此，可以提高跨模态活体检测的准确度。

主权项：1.一种跨模态活体融合检测方法，其特征在于，所述方法包括：获取待检测活体的可见光图像和近红外图像；确定跨模态活体检测模型，所述跨模态活体检测模型用于提取样本可见光图像的样本可见光图像特征和样本近红外图像的样本近红外图像特征，并采用预设特征差异损失函数和预设对齐损失函数，监督优化所述样本可见光图像特征和所述样本近红外图像特征对应的双模态融合特征，所述样本可见光图像特征为从所述样本可见光图像的目标可见光图像块中提取到的，所述样本近红外图像特征为从所述样本近红外图像的目标近红外图像块中提取到的，所述双模态融合特征为根据所述目标可见光图像块对应的原始特征和所述目标近红外图像块对应的原始特征，通过随机打乱特征通道，并通过串联拼接融合而成的，所述样本可见光图像和所述样本近红外图像为同一样本活体图像的不同模态；其中，所述预设特征差异损失函数的表达式如下所示： 式中，λ1表示所述预设特征差异损失函数，Q表示可见光嵌入空间特征，表示第i张样本可见光图像中第j个目标可见光图像块对应的原始特征，表示第i张样本近红外图像中第j个目标近红外图像块对应的原始特征，表示第t张样本可见光图像中第j个目标可见光图像块对应的原始特征，B表示训练的批处理大小，为的转置，表示第t张样本近红外图像中第j个目标近红外图像块对应的原始特征，其中，Q＝ΡrgbHrgb，Ρrgb表示所述可见光图像特征的可见光特征映射头，Hrgb表示所述可见光图像特征；所述预设对齐损失函数的表达式如下所示： 式中，λ2表示所述预设对齐损失函数，Srgb表示可见光嵌入空间特征概率分数，Snir表示近红外嵌入空间特征概率分数；利用所述跨模态活体检测模型提取所述可见光图像的目标可见光图像特征、所述近红外图像的目标近红外图像特征，以及所述可见光图像和所述近红外图像对应的目标双模态融合特征，并根据所述目标可见光图像特征、所述目标近红外图像特征和所述目标双模态融合特征，通过预设得分函数和预设分类器，得到所述待检测活体的跨模态检测结果。

全文数据：

权利要求：

百度查询： 厦门熵基科技有限公司 跨模态活体融合检测方法、装置、存储介质和计算机设备