买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江工商大学申请的专利多模态大模型辅助下噪声鲁棒的人体骨架无监督表示学习方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119314230B 。

龙图腾网通过国家知识产权局官网在2025-03-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411857631.5，技术领域涉及：G06V40/20；该发明授权多模态大模型辅助下噪声鲁棒的人体骨架无监督表示学习方法及装置是由董建锋;郭钦涵;刘宝龙;孙杰;王勋设计研发完成，并于2024-12-17向国家知识产权局提交的专利申请。

本多模态大模型辅助下噪声鲁棒的人体骨架无监督表示学习方法及装置在说明书摘要公布了：本发明公开了一种多模态大模型辅助下噪声鲁棒的人体骨架无监督表示学习方法及装置，其方法包括：通过对与人体骨架序列对应的RGB视频进行采样得到关键帧，经多模态大模型生成动作文本描述；后将人体骨架序列与对应动作文本描述进行编码到公共空间，通过异常样本与信息熵联合估计的样本噪音评估方法生成更可靠的学习目标，使用噪音感知的对比学习方法对模型进行训练；最后，在经过一定批次的迭代训练后可得到性能更优的编码器。本发明在没有额外训练推理成本的前提下，利用编码器本身的能力来区分与动作无关的文本描述，使得模型学习到更加合理的相似性表示，同时较好地提高了编码器在下游任务的性能。

本发明授权多模态大模型辅助下噪声鲁棒的人体骨架无监督表示学习方法及装置在权利要求书中公布了：1.一种多模态大模型辅助下噪声鲁棒的人体骨架无监督表示学习方法，其特征在于，包括以下步骤：步骤S1，数据获取；原始人体骨架序列由人体骨架序列公开数据集直接提供；对人体骨架序列对应的RGB视频进行抽取，使用多模态大模型得到对应的原始动作文本描述；步骤S2，数据预处理；将原始人体骨架序列和对应的原始动作文本描述进行预处理，分别得到关节点模态人体骨架序列与对应动作文本描述序列，并对关节点模态人体骨架序列进行同族数据增强得到两个不同的增强人体骨架序列；步骤S3，无监督表示学习；对于关节点模态人体骨架序列，使用嵌入层与人体骨架编码器进行嵌入编码，得到人体骨架特征；对于对应动作文本描述序列，使用预训练CLIP模型编码，得到动作文本描述特征；将二者投影到统一特征空间，使用对比学习的方式对齐人体骨架不同增强序列间特征、人体骨架序列特征与动作文本描述特征；步骤S4，使用基于异常样本识别的方法进行噪音评估，筛选“离群”的动作文本描述；步骤S5，使用基于信息熵估计的方法进行噪音评估，减少无区分性的动作文本描述在表示学习过程中的目标概率；具体包括：步骤S51，基于信息熵估计进行噪音评估；其中，信息熵的定义式如下， ，根据上式，对于每一个动作文本描述特征，依次与批次内所有人体骨架样本特征计算相似度分数，通过标准归一化指数函数得到每个动作文本描述特征与批次每个人体骨架样本特征的概率；步骤S52，根据式（2）式计算每个动作文本描述的信息熵；步骤S53，信息熵越大表明该生成的动作文本描述包含信息量越少，因而通过取反信息熵的方式生成基于信息熵估计的学习目标；步骤S6，线性加权融合步骤S4与步骤S5中样本噪音评估方法生成的学习目标与原始学习目标，并应用于步骤S3的对比学习中，学习人体骨架序列特征与动作文本描述特征间的相似性表示；步骤S7，评估模型能力，将经过预训练的人体骨架序列编码器与嵌入层参数完全冻结，用于下游任务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江工商大学，其通讯地址为：310018 浙江省杭州市下沙高教园区学正街18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。