龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：同济大学;卡斯柯信号有限公司
摘要：本申请属于类脑和多模态人工智能技术领域，特别是涉及一种类脑多模态模型端到端预训练装置及方法。所述装置包括多模态信息源模块、多模态感知模块、多模态数据处理模块、多模态数据蒸馏模块和多模态模型训练模块。所述方法包括：观测目标产生非人因信息并与人交互产生人因信息；由感知单元获取人因数据与非人因数据；所述数据由数据处理单元处理，由数据集成单元集成于同一存储空间；重复该过程，得到多模态数据集；所述数据集由多模态数据蒸馏模块去除人因语义与非人因语义不一致的多模态数据；利用蒸馏后的数据集完成类脑多模态模型训练。本发明将人脑中多模态信息表征和对齐机制迁移至多模态模型中，有效地提高多模态对齐、跨模态转换的表现。
主权项：1.一种类脑多模态模型预训练装置，其特征在于，所述装置包括：多模态信息源模块1、多模态感知模块2、多模态数据处理模块3、多模态数据蒸馏模块4和多模态模型训练模块5；其中，所述多模态信息源模块1，包括人因信息源与若干非人因信息源，用于提供同一观测目标下的人因信息和非人因信息；所述多模态感知模块2，包括人因感知单元和非人因感知单元，分别用于感知多模态信息源模块的人因信息和非人因信息，并将其转换为数据，从而获得同一观测目标下的人因数据和非人因数据，提供给多模态数据处理模块；所述多模态数据处理模块3，包括人因数据处理单元、非人因数据处理单元和数据集成单元，分别用于处理人因数据和非人因数据，并将二者集成为多模态数据，提供给多模态数据蒸馏模块；所述多模态数据蒸馏模块4，用于去除人因语义与非人因语义不一致的多模态数据；蒸馏后的多模态数据提供给多模态模型训练模块；所述多模态模型训练模块5，用于完成类脑多模态模型的训练过程，包括数据编码单元、特征提取单元、特征对齐单元、跨模态特征转换单元以及数据输出单元。
全文数据：
权利要求：
百度查询： 同济大学 卡斯柯信号有限公司 一种类脑多模态模型端到端预训练装置及方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号