龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：浙江大学;浙江大学滨江研究院
摘要：本发明公开了一种基于多模态模型的领域大规模图文对数据集通用构建方法，包括原始数据选择、基于领域关键词的数据提取、数据整合和筛选、基于领域特定的多模态大模型的文本生成、基于领域特征的专项过滤等。本发明利用各种公开数据，在不同领域多模态大模型的场景下，对不同原始格式、不同组织形式、不同内容的数据进行重新组织，对缺乏文本描述的图像数据，利用多模态模型进行特定领域的文本标注，然后对数据进行检查和筛选，从而构建新的符合特定要求的数据集，为当前各个领域的多模态模型训练和落地提供数据支撑。
主权项：1.一种基于多模态模型的领域大规模图文对数据集通用构建方法，其特征在于：包括如下步骤：步骤一，收集现有的公开图文对数据集并采用领域关键词来过滤其中的特定领域的图文对数据，提取特定的图文对；步骤二，利用url和其他工具对步骤一中提取出来的图文对进行进一步去重和去离群点；步骤三，对于经过步骤二处理后的图文对数据，用预训练的视觉语言模型和领域内SOTA的图像检测器对图文对进行检测，进一步去除非目标领域的数据；步骤四，收集所需要构建数据集领域内已有的纯图像数据集；步骤五，利用现有的图像生成文本的生成式模型对步骤四收集的已有的纯图像数据集进行描述性文本生成，同时对已有标注或者其他相关信息的图像，把这部分信息按照模板组织成多样化的对应文本；步骤六，利用现有的由文本生成图像的生成式模型，对上述步骤五生成的文本进行反向验证和筛选，确保生成的文本的质量；对生成的图文对进行抽样检测并打分，根据统计数据来检验生成的文本的质量；步骤七，将上述步骤两种源域的目标域数据合并，获得规模扩展的特定领域图文对数据集；步骤八，在获得数据集以后，根据文本的描述性和图像和文本的相关性进行替换，当两个图像非常相似而其中一个图像的文本描述性比较差的时候，用描述性强的文本替代另一个图像的文本，以对数据集进行更新。
全文数据：
权利要求：
百度查询： 浙江大学 浙江大学滨江研究院 基于多模态模型的领域大规模图文对数据集通用构建方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号