龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：南京大学
摘要：本发明公开了基于多模态大语言模型的关系抽取方法，具体涉及数据处理技术领域，采用多模态相似度检测模块为数据集中的每一个样本从一组人工预定义的样本中选择相关示例，将选定的示例与输入样本整合到特定格式的多模态提示模板中，用以启发大语言模型生成辅助知识；将输入文本与大语言模型生成的辅助知识拼接在一起，再将其送入编码器用于生成融合特征；将融合特征送入全连接层解码，以预测原始文本中两个实体间的关系。本发明创新地结合大语言模型的生成能力和Transformer编码器的建模能力，充分利用视觉和文本模态中的关键信息，从而提高多模态关系抽取模型的性能。
主权项：1.基于多模态大语言模型的关系抽取方法，其特征在于：包括以下步骤：步骤1：采用多模态相似度检测模块为数据集中的每一个样本从一组人工预定义的样本中选择相关示例，将选定的示例与输入样本整合到特定格式的多模态提示模板中，用以启发大语言模型生成辅助知识；步骤2：将输入文本与大语言模型生成的辅助知识拼接在一起，再将其送入编码器用于生成融合特征；步骤3：将步骤2中的融合特征送入全连接层解码器，以预测输入文本中两个实体间的关系；预测原始文本中两个实体间的关系具体包括：由大语言模型通过上下文学习生成的辅助知识为Z＝{z1,...,zm}，将辅助知识与原始文本T＝{t1,...,tn}连接起来得到[T；Z]；为了判断实体关系，首先使用特殊标记将需要评估关系的两个实体包裹起来，同时在文本两端和两段文本之间插入分类标记[CLS]和分隔符标记[SEP]，接着将其输入Transformer编码器中：{h[CLS],h1,...,hn,h[SEP],hn+1...,hn+m,h[SEP]}＝EaddToken[T；Z]1将h[CLS]输入到由全连接层和Softmax分类层组成的解码器中，该层定义了给定输入句子T时，句子中两个实体间存在关系y的概率： 其中，W表示全连接层权重；表示分类标记[CLS]对应的特征向量的转置；最后，通过最小化负对数似然损失对Transformer编码器和全连接层解码器的参数进行微调： 其中，M表示训练集的样本数量，θ表示模型参数。
全文数据：
权利要求：
百度查询： 南京大学 基于多模态大语言模型的关系抽取方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号