买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华中科技大学

摘要：本发明公开了一种基于自适应补丁学习的面部AU检测模型建立方法及应用，属于计算机视觉技术领域，包括：建立初始神经网络模型并训练，得到面部AU检测模型；模型包括：全局特征学习模块，用于从人脸图像中提取全局人脸特征Fglobal；人脸关键点位置学习模块，用于从Fglobal中学习得到人脸关键点位置Palign；自适应多尺度补丁学习模块，包括：自适应补丁提案子模块，用于根据Palign从Fglobal中划分出多种尺度的补丁区域；多尺度补丁学习子模块，用于通过补丁学习得到各尺度补丁区域的特征后级联为AU特征；以及AU预测模块，用于根据AU特征预测各AU标签出现的概率；补丁区域包括AU级尺度区域、关联级尺度区域和人脸级尺度区域。本发明能够减少头部姿态影响，提高AU检测精度。

主权项：1.一种基于自适应补丁学习的面部AU检测模型建立方法，其特征在于，包括：建立初始神经网络模型并对其进行训练，得到所述面部AU检测模型；所述初始神经网络模型包括：全局特征学习模块，用于对包含人脸的输入图像进行特征提取，得到包含了全局人脸结构和上下文特征的全局人脸特征；人脸关键点位置学习模块，用于从所述全局人脸特征中学习得到人脸关键点位置；自适应多尺度补丁学习模块，包括：自适应补丁提案子模块，用于根据所述人脸关键点位置从所述全局人脸特征中划分出多种尺度的补丁区域；多尺度补丁学习子模块，用于对所述多种尺度的补丁区域进行补丁学习，得到各补丁区域的特征后将所得到的补丁区域特征级联为AU特征；所述多种尺度的补丁区域包括AU级尺度区域；所述AU级尺度区域为以AU中心位置为中心的正方形区域；以及，AU预测模块，用于根据所述AU特征预测各AU标签出现的概率；其中，所述初始神经网络模型的训练包括：第一阶段：冻结所述自适应多尺度补丁学习模块的所有参数，利用由已标注人脸关键点位置标签的人脸图像所构成的第一数据集对所述初始神经网络模型进行训练，得到中间模型；第二阶段：不冻结参数，利用由已标注人脸关键点位置标签和AU标签的人脸图像所构成的第二数据集对所述中间模型整体进行训练，得到所述面部AU检测模型；在利用所述第一数据集对所述初始神经网络模型进行训练之前，还包括：对所述第一数据集进行数据增强操作；并且，在利用所述第二数据集对所述中间模型整体进行训练之前，还包括：对所述第二数据集进行数据增强操作；所述数据增强操作包括：通过旋转、缩放、平移中的一种或多种操作获得图像规模为Din×Din×3的第一RGB人脸图像；将所述第一RGB人脸图像随机裁剪为规模为D×D×3的第二RGB人脸图像并进行水平翻转；其中，Din和D均为正整数，且DinD。

全文数据：

权利要求：

百度查询： 华中科技大学 基于自适应补丁学习的面部AU检测模型建立方法及应用