买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:山东旗帜信息有限公司
摘要:一种多模态档案审核的构建方法及系统,包括如下步骤:多模态数据获取,所述多模态数据包括图像数据;对于多模态数据进行统一向量化处理;对于经统一向量化处理的多模态数据进行数据分析处理;将经数据分析处理后的多模态数据进行审核。本申请将多模态数据进行统一向量化处理,然后对于处理后的数据进行数据分析处理,从而可以对于多模态数据进行统一化处置,保证处理效率。
主权项:1.一种多模态档案审核的构建方法,其特征在于:包括如下步骤:多模态数据获取,所述多模态数据包括图像数据;对于多模态数据进行统一向量化处理;对于经统一向量化处理的多模态数据进行数据分析处理;将经数据分析处理后的多模态数据进行审核;所述多模态数据还包括文本数据、音频数据以及视频数据,所述统一向量化处理按照如下步骤进行:对于文本数据,进行文本向量化得到文本向量;对于图像数据,进行图像向量化得到图像向量;对于音频数据,通过语音识别得到文本,然后进行文本向量化得到音频向量;对于视频数据,首先进行信息提取得到视频关键帧以及视频音频;对于视频关键帧进行视频关键帧图像向量化得到视频图像向量,对于视频音频进行语音识别得到视频文本,然后进行视频文本向量化得到视频音频向量,综合视频图像向量以及视频音频向量得到视频向量;所述数据分析处理包括内容分类、信息抽取、文档摘要以及关系推理,并按照如下方式进行:所述内容分类包括主题分类和重要性分级;所述主题分类采用预定义主题类别和few-shot学习方法,将档案内容与类别描述根据内容相似度进行分类;所述重要性分级基于预定义的等级标准,根据内容的关键程度和影响范围,进行评估和分级;所述信息抽取利用命名实体识别方法,从档案中提取关键信息,根据提示模板,明确指定需要提取的实体类型,识别并提取所需信息;所述文档摘要利用文本生成能力,通过设计特定的提示模板,指定摘要的长度和关注点,生成符合要求的文档摘要;所述关系推理用于分析不同档案之间的关联,通过将多个相关档案的内容和元数据组合,引导分析档案间的时间顺序、主题相关性和人物关联关系。
全文数据:
权利要求:
百度查询: 山东旗帜信息有限公司 一种多模态档案审核的构建方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。