买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：吉林大学

摘要：基于指物识别及视线跟踪的孤独症儿童异常行为检测方法属计算机视觉深度学习技术领域。本发明包括：1.基于YOLOv8目标识别技术针对儿童指物动作的目标检测，计算视频每帧图像中儿童指物动作的置信概率；2.根据ATD网络进行儿童视线跟踪，捕获视线关注点。结合两个网络对指物游戏进行综合评判，判断儿童在该行为中表现是否正常。本发明对幼儿的孤独症谱系障碍诊断进行计算机视觉辅助判断，为准确诊断孤独症谱系障碍提供了更多可能。

主权项：1.一种基于指物识别及视线跟踪的孤独症儿童异常行为检测方法，其特征在于包括下列步骤：1儿童视频采集和语音识别定位：采集医务人员对儿童进行ADOS-2量表诊断的监控视频，获取筛查和诊断中指物游戏项目的视频片段，语音识别医生发出的指令“要哪个”，定位时间节点，对视频进行剪辑处理，具体步骤如下：1.1对采集到的诊断监控进行筛选，得到评估ADOS-2量表中模块T、1、2、3中的监控视频，筛选模块1和2中存在指物游戏项目的视频；剪辑其中带有指物项目的片段，控制时间在5秒到15秒，从医生发出指令前开始剪辑，直到项目结束；游戏项目设计为：医生高举起儿童感兴趣的两个玩具，发出指令“要哪个”，若儿童不理会，没有指物动作则记为2分，若儿童完成了指物动作，则继续进行眼神交流的观察；儿童指物后，医生不马上把玩具给儿童，而是观察儿童有没有和医生进行眼神交流，即向医生索取玩具的意图，若不伴随协调眼神则记为1分，若伴随协调眼神则记为0分；根据游戏设计比对病历内容，对每位患者进行病例分析，筛查项目得分信息和医生诊断内容，具体分为“可以远距离指物并伴有协调眼神”为0分，“可以远距离指物但不伴有协调眼神”为1分，“不可以远距离指物”为2分；1.2语音识别医生有关引导儿童发出指物动作的指令“要哪个”，定位时间戳信息，以该时间节点为开始，剪辑视频，视频最终呈现的帧速率为30帧秒，帧宽度为1920，帧高度为1080；2基于YOLOv8网络进行指物目标识别，包括下列步骤：2.1对步骤1.2中的视频进行进一步剪辑，得到每秒钟都包含指物动作的视频，利用Python中ffmpeg模块对该视频提取帧图像，使用labelImg中YOLO模块标注图像，用矩形框标注图像中“point”手势；2.2对步骤2.1得到的图片和标签，运用YOLOv8目标识别网络进行训练；2.3通过YOLOv8训练标注的图像，得出目标检测性能指标，保存模型；性能指标包括混淆矩阵、精确率、召回率、F1分数、F1置信度曲线和精确率置信度曲线；混淆矩阵是对目标识别预测结果的总结，计数得到正确和不正确预测的数量；精确率是指在预测为正例的样本中，实际为正例的比例，表示模型在正例预测中的准确性；召回率是指在实际为正例的样本中，模型成功预测为正例的比例，表示模型对正例的识别能力；F1分数是精确率和召回率的调和平均数，取值在0和1之间，1表示性能最佳，0表示性能最差；具体公式为： 其中：TP为将正类预测为正类的数量，即正确预测的正类样本数；FN为将正类预测为负类的数量，即错误预测的正类样本数；FP为将负类预测为正类的数量，即错误预测的负类样本数；F1置信度曲线是分类问题中常用的性能评估工具，调整置信概率阈值即可观察F1置信度曲线在不同阈值下的变化；阈值较低时，模型可能将许多置信度较低的样本判定为真，达到提高召回率但降低精确率的效果；反之在阈值较高时，只有置信度很高的样本才被判定为真，使得模型的类别判定更为准确，达到提高精确率的效果；精确率置信度曲线的横坐标表示置信度，纵坐标表示精度；曲线的形状和位置反映了模型在不同置信度水平下的性能；在曲线图中，当曲线向左上弯曲时，代表在较低置信度下仍能保持较高的精度，说明检测器在高召回率的同时能够保持低误报率，即对目标的识别准确性较高；反之表示检测器性能较差；2.4用步骤2.3中最优模型权重对步骤1.2中的视频进行测试，得到视频每帧图像中是否有置信度在75％以上的指物动作的信息；若置信度在75％以上的指物动作，持续帧数达到20帧即可判定为指物成功；若成功则继续进行视线跟踪，若持续帧数小于20帧则该游戏项目记为2分；3基于ATD网络进行儿童视线跟踪检测，剪辑步骤2.4中判定为指物成功的视频，提取帧图像，进行儿童的视线跟踪检测，捕获视线关注点，包括下列步骤：3.1将步骤2.4中判定为指物成功的视频继续剪辑，定位儿童开始指物帧数为起点，游戏项目结束为终点，剪辑视频，提取帧图像；3.2使用labelImg对步骤3.1中的帧图像进行儿童头部矩形框的标注，得到头部位置信息；将图像与头部位置信息输入ATD网络，捕获儿童的视线关注点；3.3ATD网络架构由头部调节分支、主场景分支和反复注意预测模块组成；头部调节分支是从图像中感兴趣的人的头部裁剪计算，最终形成头部特征图；网络的头部卷积部分是一个ResNet-50网络，后面是一个额外的残差层和一个平均池化层；主场景分支是使用网络的场景卷积部分计算场景特征映射，输入到场景卷积的是场景图像和头部位置图像；然后，使用编码模块中的两个卷积层对连接的特征进行编码；反复注意预测模块，首先是使用卷积长短时记忆网络整合来自一组帧序列的时间信息，然后一个由四个反卷积层组成的反卷积网络将卷积长短时记忆网络计算的特征上采样到一个全尺寸的特征图中；判断视线关注点是否在帧内的模块由两个卷积层和一个全连接层组成，该模块确定了标量α，经热图调制后，用标量α对全尺寸特征图进行调制，该标量α量化了人的注意力焦点是位于帧内还是帧外，值越高表示帧内注意力概率越高；3.4进行ATD网络视线检测，输入图片和头部位置信息，输出视线跟踪结果，若视线停留在医生头部帧数大于等于10帧则记为0分，若小于10帧则记为1分。

全文数据：

权利要求：

百度查询： 吉林大学 基于指物识别及视线跟踪的孤独症儿童异常行为检测方法