买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：平安科技(深圳)有限公司

申请日：2023-05-25

公开（公告）日：2023-08-25

公开（公告）号：CN116644315A

专利技术分类：...生成训练模式；自引导方法，如捕获，促进[2023.01]

专利摘要：本发明涉及自然语言领域，揭露一种视觉隐喻挖掘方法、装置、电子设备及存储介质，可用于金融领域金融产品的图文推销海报上，所述方法包括：构建图文数据训练集，利用所述图文数据训练集训练预设的隐喻关系识别模型，得到训练完成的隐喻关系识别模型，并获取所述图文数据训练集训练过程中的第一得分；利用训练完成的隐喻关系识别模型计算无标签图文数据的第二得分，将第一、第二得分大于预设阈值的文本数据及图片数据存储至预设主题的分布式存储知识库中，得到视觉隐喻知识库；当接收到搜索图文指令时，从所述视觉隐喻知识库中查询与所述搜索图文指令中关键词相匹配的图文数据，得到目标图文数据。本发明可以提高视觉隐喻挖掘的有效性及时效性。

专利权项：1.一种视觉隐喻挖掘方法，其特征在于，所述方法包括：获取无标签图片数据及无标签文本数据，并利用预设网络爬虫爬取互联网中的原始图文数据；对所述原始图文数据进行数据增强，得到增强图文数据，并利用所述增强图文数据构建图文数据训练集；利用预设的隐喻关系识别模型中的编码层分别提取所述图文数据训练集中文本训练数据的语义特征及所述图文数据训练集中图片训练数据的图像特征，并融合所述语义特征与所述图像特征，得到图文双模态特征；利用所述隐喻关系识别模型中的全连接层计算所述图文双模态特征的匹配得分，并利用预设的损失函数计算所述匹配得分的损失值，根据所述损失值对所述隐喻关系识别模型进行参数迭代调整，直至所述损失值满足预设条件，得到训练完成的隐喻关系识别模型；提取所述图文数据训练集中匹配得分大于预设阈值的图文双模态特征对应的文本训练数据及图片训练数据，得到初始文本数据及初始图片数据，并将所述初始文本数据及所述初始图片数据存储至预设主题的分布式存储知识库中，得到视觉隐喻知识库；利用所述训练完成的隐喻关系识别模型计算所述无标签图片数据及所述无标签文本数据的匹配得分，并将匹配得分大于预设阈值的无标签图片数据及无标签文本数据存储至所述视觉隐喻知识库中；当接收到搜索图文指令时，从所述视觉隐喻知识库中查询与所述搜索图文指令中关键词相匹配的图文数据，得到目标图文数据。

百度查询： 平安科技(深圳)有限公司 视觉隐喻挖掘方法、装置、电子设备及介质