买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明属于计算机视觉技术领域，本发明公开了一种用于人脸替换的智能设计系统；包括人脸检测追踪模块，获取人脸区域图像；人脸特征提取模块，用于对人脸区域图像提取人脸关键点坐标序列和深度学习特征，根据人脸关键点坐标序列和深度学习特征获取人脸区域特征；人脸匹配度评估模块，对待替换人脸区域图像与目标人脸图像进行人脸区域特征比对，将待替换人脸区域图像与目标人脸图像划分为n个子区域，获取n个替换匹配度；自适应图像融合模块，设置匹配度阈值区间获取比对结果；根据比对结果采用图像融合算法，将目标人像图像和待替换人脸区域图像进行融合替换，保证了精确定位人脸区域的能力，又实现了对面部特征自适应融合。

主权项：1.一种用于人脸替换的智能设计系统，其特征在于，包括：人脸检测追踪模块，用于对输入的视频流进行人脸检测，获取人脸区域图像；人脸特征提取模块，用于对人脸区域图像提取人脸关键点坐标序列和深度学习特征，根据人脸关键点坐标序列和深度学习特征获取人脸区域特征；人脸匹配度评估模块，用于对待替换人脸区域图像与目标人脸图像进行人脸区域特征比对，将待替换人脸区域图像与目标人脸图像划分为n个子区域，获取待替换人脸区域图像与目标人脸图像n个子区域之间的n个替换匹配度；自适应图像融合模块，设置匹配度阈值区间，通过比对n个替换匹配度和匹配度阈值区间获取比对结果；根据比对结果采用图像融合算法，将目标人像图像和待替换人脸区域图像进行融合替换；各个模块之间通过有线和或无线的方式进行连接，实现模块间的数据传输；所述对输入的视频流进行人脸检测，获取人脸区域图像的方式包括：预训练完成的MTCNN人脸检测模型，加载到内存中；逐帧读取输入的视频流画面，提取RGB图像；将提取的RGB图像，输入到预先训练MTCNN人脸检测模型中，生成每个人脸的坐标框；根据人脸坐标框，在输入的RGB图像中截取人脸框所在的区域，生成人脸区域图像；所述MTCNN人脸检测模型的预训练过程包括：将MTCNN人脸检测模型的训练分为三个阶段，三个阶段包括训练提取网络、训练优化网络和训练输出网络；所述训练提取网络的方式包括：采集m张包括人脸的图像作为训练集；m为大于1的整数；对训练集图像进行人工或者计算机人脸标注，获取包括人脸标签框的图像训练集；提取网络采用卷积神经网络结构，包括卷积层、激活函数层、池化层和全连接层组成；设置输入层为输入RGB图像的三通道像素数据；使用b个卷积核对输入RGB图像进行卷积运算，获取特征图；利用激活函数层，对卷积层输出的特征图施加非线性激活；通过池化层，对特征图进行降维处理；得到降维特征图；利用全连接层将降维特征图变为特征图向量；损失函数层采用交叉熵函数HP,Q＝-∑fPflogQf；其中，HP,Q表示真实分布P和模型预测分布Q之间的交叉熵损失；Pf表示真实分布中第f个类别的概率；Qf表示模型预测分布中第f个类别的概率；定义回归框损失函数测量网络预测框和标签框的误差；回归框损失函数为： 其中E的取值为px-gx，py-gy，pw-gw和ph-gh；其中，px，py为预测框的中心坐标，pw为预测框的宽，ph为预测框的高；gx，gy为标签框的中心坐标，gw为标签框的宽，gh为标签框的高；N为总的图像训练集内图像的数量；利用反向传播算法根据损失函数更新网络参数，使预测框不断逼近标签框；通过迭代优化模型，最终获得提取网络；训练优化网络的步骤包括：利用提取网络对训练集图像生成的所有候选框进行评估；评估每个候选框与标签框的IoU；IoU表示两者的重合度；若候选框的IoU0.5，则标注该候选框为正样本；若候选框的IoU≤0.5，则标注该候选框为负样本；定义优化网络的网络结构，网络结构包括卷积层、池化层和全连接层；定义优化网络的训练目标为输出为一个二值判断结果，二值判断结果为当前候选框是否包括人脸；期望为其判断结果与标注的标签一致；标签包括正样本和负样本；采用二分类交叉熵损失函数作为优化网络的的损失函数；二分类交叉熵损失函数Losso,y＝-ylogo+1-ylog1-o；其中，o为当前样本预测为正样本的概率；y当前样本的标签，对于正样本y为1、对于负样本y为0；输入带候选框的图像至优化网络进行网络计算，得到二值判断结果；比较二值判断结果与标签并计算二分类交叉熵损失函数值；通过反向传播算法更新优化网络的网络参数，二分类交叉熵损失函数的值在更新优化的过程中会逐步下降，当其下降速度变缓时，则结束训练；得到优化网络；所述训练输出网络的步骤包括：经过优化网络的过滤，留下的高质量候选框图片作为输出网络的训练样本；构建输出网络的网络结构与优化网络的网络结构相同；定义输出网络的损失函数为坐标回归损失函数，坐标回归损失函数用于测量输出网络预测框与标签框在位置和大小上的误差平方和；输出网络的输入为候选框图像，输出网络的输出为调整后的预测框坐标；预测框坐标包括预测框的中心坐标、预测框的宽和预测框的高；预定义输出网络的参数，输出网络根据当前参数，预测输出调整后的候选框坐标；计算该预测框与该图像标签框的坐标回归损失函数值；通过链式法则求导计算每个参数对坐标回归损失函数值的梯度；沿负梯度方向微调输出网络的参数，使坐标回归损失函数的值降低；当其降低速度变缓时，则结束训练；得到输出网络；三个阶段均训练完成后，将三个阶段串联即构成完整的MTCNN人脸检测模。

全文数据：

权利要求：

百度查询： 深圳市石代科技集团有限公司 一种用于人脸替换的智能设计系统