龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：东南大学
摘要：本发明公开一种多模态大型语言模型训练、装置、存储介质以及电子装置，其技术要点是：构建多模态数据集，并对其中的数据对进行严格过滤，以保证数据对的内容与文本描述紧密相关；使用筛选后的前述数据对，对学生模型中的特征对齐层进行预训练，以学习如何匹配图像的视觉特征和文本的语义特征，基于训练完毕的特征对齐层，进行多模态指令微调，进行多模态指令微调，使所述学生模型对所提出问题的回答与教师模型给出的多模态回答保持一致；进行多模态数据质量评估，生成多模态数据，以生成更多的新指令并将其与原始图像相结合，构建新的多模态指令数据集来训练所述学生模型，迭代增强所述学生模型的多模态能力。
主权项：1.一种多模态大型语言模型训练方法，其特征在于，所述方法包括：S1、构建多模态数据集，并对其中的数据对进行严格过滤，以保证数据对的内容与文本描述紧密相关；其中，多模态数据集为收集所得的大量图像和文本数据对；S2、使用筛选后的前述数据对，对学生模型中的特征对齐层进行预训练，以学习如何匹配图像的视觉特征和文本的语义特征，获得训练完毕的特征对齐层；S3、基于训练完毕的特征对齐层，进行多模态指令微调，使所述学生模型对所提出问题的回答与教师模型给出的多模态回答保持一致；S4、进行多模态指令微调，使所述学生模型对所提出问题的回答与教师模型给出的多模态回答保持一致；S5、进行多模态数据质量评估，对评估模型识别困难的多模态指令进行评估打分；S6、生成多模态数据，以生成更多的新指令并将其与原始图像相结合，构建新的多模态指令数据集来训练所述学生模型，迭代增强所述学生模型的多模态能力。
全文数据：
权利要求：
百度查询： 东南大学 多模态大型语言模型训练、装置、存储介质以及电子装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号