买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利融合多模态大模型的人机协作数据集构建及异常检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119538161B 。

龙图腾网通过国家知识产权局官网在2025-10-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411802998.7，技术领域涉及：G06F18/2433；该发明授权融合多模态大模型的人机协作数据集构建及异常检测方法是由刘振宇;梁洪睿;撒国栋;李志男;谭建荣设计研发完成，并于2024-12-09向国家知识产权局提交的专利申请。

本融合多模态大模型的人机协作数据集构建及异常检测方法在说明书摘要公布了：本申请公开了一种融合多模态大模型的人机协作数据集构建及异常检测方法，涉及人机协作技术领域，该方法包括：基于人机动作标签控制虚拟数字人和虚拟机械臂在虚拟人机协作场景中进行虚拟人机协作，在进行虚拟人机协作的过程中，获取人体碰撞部位、多角度人机场景图像和关节姿态数据，并进一步进行时间戳对齐，组成多模态数据集，利用多模态大模型将多模态数据集转换为视觉‑语言指令数据集，利用视觉‑语言指令数据集对多模态大模型进行微调，利用微调后的多模态大模型实现虚拟人机协作场景中的人机协作异常检测。本申请可高效构建高质量的多模态数据集，并可对多模态大模型进行微调训练，实现虚拟人机协作场景中的人机协作异常检测。

本发明授权融合多模态大模型的人机协作数据集构建及异常检测方法在权利要求书中公布了：1.一种融合多模态大模型的人机协作数据集构建及异常检测方法，其特征在于，所述融合多模态大模型的人机协作数据集构建及异常检测方法包括： 基于人机动作标签控制虚拟数字人和虚拟机械臂在虚拟人机协作场景中进行虚拟人机协作； 在进行虚拟人机协作的过程中，获取虚拟数字人与虚拟人机协作场景中的物理资产发生碰撞时的人体碰撞部位、虚拟人机协作场景的多角度人机场景图像和虚拟机械臂的关节姿态数据； 对所述人体碰撞部位、所述多角度人机场景图像和所述关节姿态数据进行时间戳对齐，并将时间戳对齐后的人体碰撞部位、多角度人机场景图像和关节姿态数据组成所述人机动作标签对应的人机协作虚拟场景时序数据； 将每一所述人机动作标签和所述人机动作标签对应的人机协作虚拟场景时序数据组成多模态数据集； 利用多模态大模型将所述多模态数据集转换为视觉-语言指令数据集； 利用所述视觉-语言指令数据集对多模态大模型进行微调，得到微调后的多模态大模型；利用微调后的多模态大模型实现虚拟人机协作场景中的人机协作异常检测； 利用微调后的多模态大模型实现虚拟人机协作场景中的人机协作异常检测，具体包括： 以当前获取的待检测多角度人机场景图像作为输入，利用微调后的多模态大模型进行异常检测，得到测试者人体姿态、机械臂工作状态、人体像素坐标和机械臂像素坐标； 对所述人体像素坐标进行坐标变换，得到人体空间坐标； 对所述机械臂像素坐标进行坐标变换，得到机械臂空间坐标； 计算所述人体空间坐标和所述机械臂空间坐标的欧几里得距离，得到人机空间距离； 基于所述人机空间距离和最小安全协作距离确定人机安全程度； 其中，基于所述人机空间距离和最小安全协作距离确定人机安全程度，具体包括： 当所述人机空间距离小于或等于最小安全协作距离时，所述人机安全程度为危险制动； 当所述人机空间距离大于最小安全协作距离且小于或等于预设距离时，所述人机安全程度为警示提醒； 当所述人机空间距离大于预设距离时，所述人机安全程度为安全正常； 其中，最小安全协作距离的计算方法包括： 获取采样时间段内的多张采样用多角度人机场景图像；所述采样时间段为T0，T1+T，T0为人体闯入的时间点，T1为触发机械臂回退的时间点，T为机械臂从开始回退至回退到安全距离后停止所用的时间； 对于每一张所述采样用多角度人机场景图像，以所述采样用多角度人机场景图像作为输入，利用微调后的多模态大模型进行异常检测，得到采样用人体像素坐标和采样用机械臂像素坐标； 对于任意两张相邻的采样用多角度人机场景图像，计算两张相邻的采样用多角度人机场景图像的采样用人体像素坐标与两张相邻的采样用多角度人机场景图像的时间间隔的比值，得到采样用人体移动速度，计算两张相邻的采样用多角度人机场景图像的采样用机械臂像素坐标与两张相邻的采样用多角度人机场景图像的时间间隔的比值，得到采样用机械臂移动速度； 根据所述采样用人体移动速度和所述采样用机械臂移动速度计算最小安全协作距离； 最小安全协作距离的计算公式为： Sp＝Sh+Sr+Ss+C； 其中，Sp为最小安全协作距离；Sh为人体接近速度的相关距离，Vht为人体在t时刻下的移动速度，基于采样用人体移动速度确定；Sr为机械臂正常工作速度的相关距离，Vrt为机械臂在t时刻下沿着接近人体方向的移动速度，基于采样用机械臂移动速度确定；Ss为机械臂的停止路径距离，Vst为机械臂在t时刻下沿着停止路径的移动速度，基于采样用机械臂移动速度确定；C为人体闯入的距离。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。