龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：北京网智天元大数据科技有限公司;网智天元科技集团股份有限公司
摘要：本申请提供了一种汉藏语多模态的图文处理方法及处理系统，通过提取汉藏语图文信息中汉藏语图像模态的图像特征和汉藏语文本模态的文本特征以确定第一汉藏语图文交互特征信息，根据第一汉藏语图文交互特征信息确定第一交互特征量；将汉藏语图像模态的图像切分重组得到汉藏语图像副本，根据汉藏语图像副本的图像副本特征和文本特征确定第二汉藏语图文交互特征信息，根据第二汉藏语图文交互特征信息确定第二交互特征量；基于第一交互特征量和第二交互特征量输出所述汉藏语图文交互的交互结果。上述方案基于第一交互特征量和第二交互特征量输出交互结果，可实现汉藏语图文跨模态交互的语义关联，从而提高汉藏语图文跨模态交互处理结果的真实性。
主权项：1.一种汉藏语多模态的图文处理方法，其特征在于，包括如下步骤：获取待处理的汉藏语图文信息；根据不同模态提取器对应提取所述汉藏语图文信息中汉藏语图像模态的图像特征和汉藏语文本模态的文本特征；对所述图像特征和所述文本特征进行特征交互，得到第一汉藏语图文交互特征信息，根据所述第一汉藏语图文交互特征信息构建汉藏语图文的第一交互轨迹，进而得到第一交互特征量；根据预设的多梯度切分尺度对所述汉藏语图像模态的图像进行切分处理，得到多个切分图块，通过所述汉藏语图像模态的图像的画幅比例重组所有的切分图块，得到汉藏语图像副本，根据对应提取器提取所述汉藏语图像副本的图像副本特征；对所述图像副本特征和所述文本特征进行特征交互，得到第二汉藏语图文交互特征信息，根据所述第二汉藏语图文交互特征信息构建汉藏语图文的第二交互轨迹，进而得到第二交互特征量；根据所述第一交互特征量和所述第二交互特征量确定汉藏语图文交互处理过程中的交互处理置信度，基于所述交互处理置信度输出汉藏语图文交互的交互结果。
全文数据：
权利要求：
百度查询： 北京网智天元大数据科技有限公司 网智天元科技集团股份有限公司 一种汉藏语多模态的图文处理方法及处理系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号