买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：科大讯飞股份有限公司

摘要：本发明公开一种多模态说话人身份识别方法、装置和设备，该方法包括：获取会话场景的视频数据和音频数据；对所述视频数据进行人脸检测和唇形检测，得到参会人的子视频数据和所述子视频数据中的人脸框数据和唇形框序列；根据所述参会人的所述唇形框序列和所述音频数据，确定所有参会人中的说话人和所述说话人对应的音频数据；根据所述说话人的所述人脸框数据提取所述说话人的视觉特征，并根据所述说话人对应的音频数据提取所述说话人的音频特征；根据所述视觉特征和所述音频特征对所述说话人进行身份识别。本申请能够在复杂多样的会话场景下提高说话人身份识别的准确性。

主权项：1.一种多模态说话人身份识别方法，其特征在于，所述方法包括：获取会话场景的视频数据和音频数据；对所述视频数据进行人脸检测和唇形检测，得到参会人的子视频数据和所述子视频数据中的人脸框数据和唇形框序列；根据所述参会人的所述唇形框序列和所述音频数据，确定所有参会人中的说话人和所述说话人对应的音频数据；根据所述说话人的所述人脸框数据提取所述说话人的视觉特征，并根据所述说话人对应的音频数据提取所述说话人的音频特征；根据所述视觉特征和所述音频特征对所述说话人进行身份识别；其中，所述根据所述视觉特征和所述音频特征对所述说话人进行身份识别，包括：将所述视觉特征与第一数据库中的特征进行匹配，得到与所述视觉特征匹配的前N个身份标识以及与每个所述身份标识对应的视觉相似度，其中N为自然数，且N大于或等于1；将所述音频特征与第二数据库中的特征进行匹配，得到与所述音频特征匹配的前N个身份标识以及与每个所述身份标识对应的音频相似度，其中N为自然数，且N大于或等于1；当与所述视觉特征匹配的前N个身份标识和与所述音频特征匹配的前N个身份标识中存在相同的身份标识时，对于所述相同的身份标识中的每个身份标识，计算与所述身份标识对应的视觉相似度和音频相似度的加权平均值，并将所述相同的身份标识中具有最大所述加权平均值的身份标识确定为所述说话人的身份识别结果；当与所述视觉特征匹配的前N个身份标识和与所述音频特征匹配的前N个身份标识中不存在相同的身份标识时，确定所述视觉相似度和所述音频相似度中的最大值，并将所述最大值对应的身份标识确定为所述说话人的身份识别结果。

全文数据：

权利要求：

百度查询： 科大讯飞股份有限公司 多模态说话人身份识别方法、装置和设备