买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:卢卡(杭州)智能科技有限公司
摘要:本申请提供了一种数字绘本识别方法、系统、电子设备及存储介质,涉及绘本识别领域。该方法通过获取包含文本、图像和音频的数字绘本数据,然后使用预设的特征提取网络分别提取三种模态的特征数据。为了便于后续的特征融合,对提取得到的数字绘本特征数据进行空间维度对齐处理,使其具有一致的维度和表示形式。接下来,将对齐后的目标数字绘本特征数据输入预设的特征融合模块,通过注意力机制和多层感知器对多模态特征进行深度融合和交互,最终得到综合考虑文本、图像和音频信息的绘本识别结果。该方法通过特征提取、对齐和融合等技术手段,实现了跨模态信息的有效整合和语义理解,提高了数字绘本识别的准确性。
主权项:1.一种数字绘本识别方法,其特征在于,所述方法包括:获取数字绘本数据,所述数字绘本数据包括绘本文本数据、绘本图像数据和绘本音频数据;将所述数字绘本数据输入预设特征提取网络,得到数字绘本特征数据,所述数字绘本特征数据包括文本特征数据、图像特征数据和音频特征数据;将所述数字绘本特征数据进行空间维度对齐处理,得到目标数字绘本特征数据;将所述目标数字绘本特征数据输入预设的特征融合模块,具体的处理过程为:对所述目标数字绘本特征数据依次进行注意力处理和多层感知处理,得到绘本识别结果。
全文数据:
权利要求:
百度查询: 卢卡(杭州)智能科技有限公司 数字绘本识别方法、系统、电子设备及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。