买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安电子科技大学;西安云影医通科技有限公司

摘要：本发明公开了基于双重对比学习的脊柱侧弯识别方法，主要解决现有技术识别成本高及准确率低的问题。其实现方案是：采集不同年龄、不同性别、不同脊柱侧弯程度的前屈试验视频；设置视觉体格检查五步法策略对采集的所有前屈试验视频样本进行标注标签；构建基于双重对比学习的SwinTransformer孪生网络；基于骨骼关节点获取关键区域的左右部分，将其输入孪生网络中提取样本左右特征及整体特征；通过骨骼特征热力图对图像左右及整体特征进行增强；利用增强后的特征训练孪生网络；将测试集输入到训练好的孪生网络检测出脊柱识别结果。本发明降低了脊柱侧弯识别的成本，提高了识别的准确率，可用于医院体检或患者对自己人体脊柱状况的初查。

主权项：1.一种基于双重对比学习的脊柱侧弯识别方法，其特征在于，包括如下：1采集不同年龄、不同性别、不同脊柱侧弯程度的前屈试验视频；2设置视觉体格检查五步法策略，对采集的所有前屈试验视频样本进行标注标签，即分别对样本的双肩是否等高、样本的左右肩胛骨是否等高、样本的两侧腰凹是否对称、样本的左右骨盆是否等高、样本在前屈试验中是否出现剃刀背这5种状况进行标注；3将标注后的所有前屈试验视频分为多个批次进行输入。根据现有的姿态估计算法MMpose识别骨骼关节点，对每个批次被测样本进行脊柱侧弯关键区域提取，即分别提取包含有肩部、肩胛骨、背部、腰线、骨盆区域的左右部分：3a从前屈试验视频中提取被测人员的站立帧；3b利用FasterRCNN方法对人体进行目标检测，并对检测到的边界框使用MMPose姿态估计算法提取肩部、臀部这些骨骼关键点的坐标，截取出包含有双肩、肩胛骨、两侧腰凹、骨盆及背部的人体区域；3c根据提取的肩部、臀部骨骼关键点计算人体的中心点，将待测的人体区域通过中心点的竖直线分成左右两边部分；3d将这些批次的样本按照8:2的比例划分训练集和测试集；4基于现有的SwinTransformer网络，构建基于双重对比学习的SwinTransformer孪生网络，对样本间整体特征与样本内左右部分特征进行双重对比，该孪生网络的两个支路共享同一权重；5对基于双重对比学习的SwinTransformer孪生网络进行训练：5a将训练集中同一批次样本的人体区域左右部分分别输入到SwinTransformer孪生网络的两个分支中，分别提取左右两部分的特征，并对其进行Concatenate操作，获得该批次样本的人体整体特征；5b使用MMPose姿态估计算法输出该批次样本人体区域中双肩、骨盆关键点的特征热力图，通过该热力图对步骤5a获得的左右两部分的特征及整体特征进行增强；5c计算同一批次下每个样本增强后左右部分特征之间的类内对比学习损失值L1，并计算同一批次下单个样本增强后的整体特征与其他样本增强后的整体特征之间的类间对比学习损失值L2；5d将步骤5c增强后的整体图像特征输入MLP中，再经过softmax操作，得到该批次的所有样本的预测类别结果，再将其与该批次的样本实际类别标签一起输入到交叉熵损失函数中，计算交叉熵损失L3的值；5e对SwinTransformer孪生网络进行反向传播，计算损失函数L＝αL1+βL2+γL3，其中α+β+γ＝1，通过最小化L调节模型的权重参数，直到训练次数达到设定阈值或损失函数的值收敛，得到训练脊柱侧弯筛选模型；6将测试集输入到训练好的脊柱侧弯筛选模型，用模型中的五步视觉体格检查策略得出脊柱状态：若测试集中某个样本的五个测试指标都正常，则确认该样本的脊柱正常；若测试集中某个样本中存在一个测试指标不正常，则确认该样本患有脊柱侧弯。

全文数据：

权利要求：

百度查询： 西安电子科技大学 西安云影医通科技有限公司 基于双重对比学习的脊柱侧弯识别方法