Document
拖动滑块完成拼图
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于LVLM的自动化中文图文对数据生成方法及装置 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

摘要:本发明提供一种基于LVLM的自动化中文图文对数据生成方法及装置,解决了现有中文图文对数据中存在中文数据质量不高且数量少的问题。具有以下优点:(1)利用同一个LVLM进行中文数据的生成与英文数据的翻译,简化了方案的架构;(2)通过生成和翻译两种方法结合,扩大中文图文数据的来源,增加数据的多样性;(3)对生成翻译后的样本进行了多阶段的后处理,以进一步提升中文语料的质量;(4)使用CLIP模型来进行图文相似度的对比,进一步提升中文语料的质量。

主权项:1.一种基于LVLM的自动化中文图文对数据生成方法,其特征在于,适用于仅包含图像的情况,具体包括如下步骤:步骤S1、获取图像D1并生成指令prompt-1;步骤S2、将D1和prompt-1输入LVLM模型,形成文本T1;步骤S3、对T1进行截断样本过滤,形成文本T2;步骤S4、对T2进行重复性过滤,形成文本T3;步骤S5、通过中文CLIP模型计算D1与T3的相似度S-1,若S-1小于阈值γ,则删除D1,反之,则保留D1;步骤S3中,对T1进行截断样本过滤,形成T2,具体包括如下步骤:步骤S301、判断T1的字符长度LT1与字符阈值max_new_tokens的大小,若将LT1小于max_new_tokens,则将T2设为T1并执行步骤S4,反之,对T1中超过max_new_tokens部分的字符进行截断处理,形成T1-truncate;步骤S302、判断T1-truncate最后一个字符character-1是否为中文句号,若character-1为中文句号,则将T2设为T1-truncate,反之,将T1-truncate中最后一个中文句号后的内容删除,形成T2;步骤S4中,对T2进行重复性过滤,形成T3,具体包括如下步骤:步骤S401、将T2分成L个句子,形成文本T3;步骤S402、对T3进行去重处理,得到去重处理后的L'个句子;步骤S403、若L'L,则删除D1,反之,执行步骤S5;其中,步骤S402中,对L个句子进行集合操作实现所述去重处理。

全文数据:

权利要求:

百度查询: 上海岩芯数智人工智能科技有限公司 一种基于LVLM的自动化中文图文对数据生成方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。