买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京理工大学

摘要：本发明公开了一种基于面部特征点的老年人进食过程中咀嚼动作的识别方法，具体如下：首先通过摄像头采集在护理床上的老人的图像作为待识别图像；其次对输入图像采用改进的多任务级联的卷积神经网络MTCNN进行人脸检测，获取老年人稳定的面部区域；再将获得的面部区域采用人脸特征点定位算法定位人脸特征点，并根据特征点的位置提取嘴部特征点和面部轮廓特征点；接着根据嘴部特征点和面部轮廓特征点的位置变化情况反映咀嚼过程中嘴部和面部轮廓形状的变化情况；最后结合嘴部和面部轮廓形状的变化情况来融合识别老年人进食过程中的咀嚼动作。本发明用来尽可能保证老年人进食过程中的安全，防止老年人因没有充分咀嚼食物而发生吞咽困难的情况。

主权项：1.一种基于面部特征点的老年人进食过程中咀嚼动作的识别方法，其特征在于，通过基于深度学习的人脸检测和面部特征点定位技术实现，包括以下步骤：步骤1、通过摄像头采集在护理床上的老人的面部图像作为输入图像；步骤2、对输入图像采用改进的多任务级联的卷积神经网络MTCNN进行人脸检测，获取老年人稳定的面部区域；具体如下：1基于护理床的应用场景，通过压缩图像金字塔来减少MTCNN中P-Net网络输入图像集的规模，从而减少人脸检测的时间；2通过对MTCNN的P-Net网络进行自微调来减少P-Net生成的人脸候选框数量，从而提高网络性能并进一步减少人脸检测的时间；3将输入图像输入到改进后的MTCNN中进行人脸检测，最终得到老年人稳定的面部区域；其中，通过压缩图像金字塔来减少MTCNN中P-Net输入图像集的规模，具体步骤如下：1-1确定护理床应用背景下的最小可检测的老年人面部图像minisize，其计算公式为： 1-2根据minisize调整图像金字塔的放缩因子factor，计算公式为： 1-3根据放缩因子factor对图像金字塔进行压缩，降低MTCNN中P-Net网络输入图像集的规模；其中，W表示输入图像的宽，H表示输入图像的高，Fr表示人脸框的宽高比，Sr表示人脸在输入图像中的占比，Fr和Sr均为常量；通过对MTCNN的P-Net网络进行自微调来减少P-Net网络生成的人脸候选框的数量，具体步骤如下：2-1通过护理床上的监控视频，采集到老年人在不同光照、不同姿态下的面部图片，并将采集到的人脸图像添加到训练数据集中；2-2将完整的训练数据集通过压缩图像金字塔得到输入图像集；2-3根据得到的输入图像集训练P-Net；2-4根据训练好的P-Net权值预测完整的训练数据集，同时将预测错误的训练数据集中的数据存储为困难样本；2-5将训练好的P-Net权重设定为初始权重，并使用困难样本对P-Net再次进行训练，最终得到自微调之后的P-Net网络；步骤3、将获得的面部区域采用人脸特征点定位算法定位人脸特征点，并根据特征点的位置提取嘴部特征点和面部轮廓特征点，具体如下：使用基于堆叠沙漏网络的面部特征点检测算法进行面部68个特征点提取，然后将嘴部和面部轮廓特征点提取出来，为进一步分析嘴部和面部轮廓形状变化做准备；步骤4、根据嘴部特征点和面部轮廓特征点的位置变化情况反映咀嚼过程中嘴部和面部轮廓形状的变化情况；嘴部形状变化采用嘴部纵横比MAR衡量，面部轮廓变化情况采用面部轮廓角度α的余弦值的绝对值||cosα||衡量；步骤5、结合嘴部和面部轮廓形状的变化情况来融合识别老年人进食过程中的咀嚼动作，用来尽可能保证老年人进食过程中的安全，防止老年人因没有充分咀嚼食物而发生吞咽困难的情况，具体步骤如下：5-1检测老年人在静止状态下的MAR和||cosα||的值，并将这两个值设定为初始值；5-2同时检测MAR和||cosα||经历“初始值-峰值-初始值”的时间；5-3比较MAR和||cosα||经历“初始值-峰值-初始值”的时间，如果二者时间近似相等，则认为此时老年人做了一次咀嚼动作。

全文数据：

权利要求：

百度查询： 南京理工大学 基于面部特征点的老年人进食过程中咀嚼动作的识别方法