买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京信息工程大学

摘要：本发明公开了一种移动应用程序通用语音窃听检测方法及装置，属于移动设备与软件安全技术领域，所述方法包括检测到麦克风访问行为，通过虚拟镜像技术获取屏幕信息；通过预训练过的L‑YOLO模型对屏幕信息进行识别和定位，判断屏幕上是否出现了麦克风图标、且麦克风图标是否被用户触碰；根据L‑YOLO模型的识别结果，判断麦克风访问行为是否为窃听行为；本发明可以准确判断当前的麦克风访问属于用户的正常操作还是移动应用程序的非法窃听，且能够有效识别任意移动应用程序在任意逻辑下的窃听行为，保证语音交互中的用户隐私免遭泄露。

主权项：1.一种移动应用程序通用语音窃听检测方法，其特征在于，包括：检测到麦克风访问行为，通过虚拟镜像技术获取屏幕信息；所述通过虚拟镜像技术获取屏幕信息，包括：获取用户移动设备屏幕的相关参数；创建虚拟屏幕，并根据从真实屏幕获取的相关参数对虚拟屏幕进行配置；将虚拟屏幕转换为L-YOLO框架可以读取的位图数据；所述将虚拟屏幕转换为L-YOLO框架可以读取的位图数据，包括：构建一个图像阅读器；将图像阅读器的输入面与虚拟屏幕绑定；为阅读器设置一个回调接口，当有新的图像可供读取时，将触发回调，并调用函数对图像进行检索；将检索到的图像数据转化为可供L-YOLO框架读取的位图数据；通过预训练过的L-YOLO模型对屏幕信息进行识别和定位，判断屏幕上是否出现了麦克风图标、且麦克风图标是否被用户触碰；所述L-YOLO模型的训练方法，包括：对训练数据进行马赛克增强和自适应缩放处理；通过Focus结构、Convolution结构、CSP结构及SPP结构对马赛克增强和自适应缩放处理后的数据进行特征提取，获取特征图；通过FPN和PAN对特征图进行处理，获取不同尺度下的图片特征；利用获取的不同尺度下的图片特征，结合预设的损失函数对L-YOLO模型进行训练；所述损失函数loss包括定位损失函数和置信损失函数，表示为： （1）；式中，为样本总数，为第个样本，为真实标签，为预测标签，是真实框与预测框之间的交并比，为预测框中心点与目标框之间的距离，为最小外接矩形c的对角线距离，是一个度量预测框与真实框长宽比的一致性参数；所述通过预训练过的L-YOLO模型对屏幕信息进行识别和定位，包括：根据L-YOLO模型，得到麦克风图标坐标为；判断在坐标范围内是否存在用户的触摸行为，实现窃听判断，具体包括：将用户手指在屏幕上的向下和向上分别建模为事件P和Q；决策逻辑表示为： （2）；其中和分别表示麦克风被调用时，手指所触碰的屏幕的横纵坐标值，min和max分别表示取最小值和最大值；根据L-YOLO模型的识别结果，判断麦克风访问行为是否为窃听行为。

全文数据：

权利要求：

百度查询： 南京信息工程大学 一种移动应用程序通用语音窃听检测方法及装置