买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京邮电大学申请的专利一种基于预训练语言模型的鲁棒的多模态主动学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115221947B 。

龙图腾网通过国家知识产权局官网在2025-03-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210727770.0，技术领域涉及：G06F18/23213；该发明授权一种基于预训练语言模型的鲁棒的多模态主动学习方法是由高雅丽;杜鹏飞;李小勇;李灵慧;苑洁设计研发完成，并于2022-06-22向国家知识产权局提交的专利申请。

本一种基于预训练语言模型的鲁棒的多模态主动学习方法在说明书摘要公布了：本发明公开了一种基于预训练语言模型的鲁棒的多模态主动学习方法，采用两阶段的混合策略，首先在不确定性度量方面采用基于动量蒸馏的掩码语言损失作为不确定性代理，其继承了ALPS这类冷启动的主动学习策略将掩码语言损失作为度量标准的优点，从输入质量本身考虑样本的不确定性。同时充分考虑样本受具体下游任务的影响，提出一种动量蒸馏方法度量预训练损失在具体任务上的变化。此外针对主动选择策略容易受集体异常值影响的问题，采用了模型训练时预测的伪标签概率和其他标签概率的间距作为异常值指示器，并将这一异常值指示器的值作为聚类初始化选择的一个依据，从而在多样性聚类时减少了异常值的选择，提升了主动选择算法的鲁棒性。

本发明授权一种基于预训练语言模型的鲁棒的多模态主动学习方法在权利要求书中公布了：1.一种基于预训练语言模型的鲁棒的多模态主动学习方法，其特征在于，所述方法应用于利用预先训练的视觉语言模型的多模态任务，所述预先训练的视觉语言模型使用Transformers构建跨模态模型，包括VisualBERT和LXMERT；预先训练的视觉语言模型将图像的视觉区域和句子的文本标记作为输入，采用两阶段的主动学习方法，第一阶段通过不确定性度量学习器学习不确定性嵌入向量，第二阶段通过鲁棒性聚类器执行鲁棒聚类，对于每个聚类中心，选择最接近它的样本集发送给标注人员进行标注；其中：不确定性度量学习器包括基于动量蒸馏的掩码语言模型损失和异常值指示器，基于动量蒸馏的掩码语言模型损失通过动量蒸馏方法计算没有微调的动量预训练模型生成的伪目标掩码与有微调的预训练模型生成的目标掩码的相对熵，同时与掩码语言损失进行动态加权；异常值指示器通过计算伪分类标签概率与其他分类标签概率的边距来评估样本是否为异常值；鲁棒性聚类器利用z标准化方法来识别正常和异常值样本，并通过具有异常值去除的鲁棒聚类方法对数据样本进行聚类和选择。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京邮电大学，其通讯地址为：100876 北京市海淀区西土城路10号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。