买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉江苏第二师范学院;上海心灵伙伴大数据科技有限公司;南京芯越智能科技有限公司申请的专利一种基于文本桥接的跨域表情运动单元检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120145166B 。

龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510634229.9，技术领域涉及：G06F18/241；该发明授权一种基于文本桥接的跨域表情运动单元检测方法是由倪艺洋;臧玥昕;肖如奇;顾晔峰;张倩;李勇;李丽;张丹设计研发完成，并于2025-05-16向国家知识产权局提交的专利申请。

本一种基于文本桥接的跨域表情运动单元检测方法在说明书摘要公布了：本发明公开了一种基于文本桥接的跨域表情运动单元检测方法，采用视觉编码器提取不同尺度的AU视觉特征，并引入一组可学习的提示向量，结合AU文本描述得到AU文本特征；利用对比学习将源域特征和文本特征对齐，提升源域AU视觉特征的判别性；采用跨模态注意力机制实现视觉和文本的初步交互，获得AU交互特征表示；通过图神经网络进一步促进文本和视觉信息的深度交互、融合，得到融合的AU特征；基于负样本AU描述的对比学习方法，将目标域特征和文本特征对齐，缩小源域与目标域之间的特征分布差异。该方法利用文本的领域不变性，将源域和目标域的视觉特征统一和文本特征对齐，显著提高AU检测模型的泛化性能和在目标域上的准确性。

本发明授权一种基于文本桥接的跨域表情运动单元检测方法在权利要求书中公布了：1.一种基于文本桥接的跨域表情运动单元检测方法，其特征在于，包括： 步骤1，获取包括图像数据集和文本数据集的多模态表情运动单元AU数据集； 步骤2，构建跨域AU检测网络； 所述跨域AU检测网络的构建步骤包括： 构建视觉编码器对图像数据进行特征提取，其中，视觉编码器分为多个阶段，每个阶段对应不同大小的感受野，得到每个阶段输出的不同尺度的AU视觉特征，并为每个阶段输出的AU视觉特征构建一个独立的适配器，得到空间维度相同的AU视觉特征； 构建分词器，以文本数据为输入，得到对应的文本向量；将一组可学习的提示向量与文本向量进行拼接，得到文本输入； 构建文本编码器对文本输入进行特征提取，得到对应的AU文本特征； 以AU视觉特征作为查询，AU文本特征作为键和值，利用跨模态注意力机制计算交互特征； 以每个AU的交互特征作为图神经网络的节点，并定义任意两个节点之间的相似度为图神经网络的边，构建图神经网络；采用多轮消息传递机制更新节点特征，并通过图卷积聚合邻居节点信息，获取每个节点的最终特征表示；对各节点的最终特征表示进行拼接，得到融合特征； 构建AU分类器，以融合特征作为输入，得到对应的预测概率； 步骤3，将图像数据集划分为源域数据集和目标域数据集，结合文本数据集对跨域AU检测网络进行训练和优化，获得跨域AU检测模型； 基于源域数据集，采用多标签二元交叉熵损失函数监督跨域AU检测网络的训练： ， 其中，表示源域数据集的图像数据的数量，表示AU的数量，和分别表示源域数据集的第个图像数据中第个AU的标签和预测值，表示第个AU在源域数据集的第个图像数据中被激活，表示第个AU在源域数据集的第个图像数据中未被激活； 引入负样本AU描述的对比学习，构建对比学习损失函数，基于图像数据集和文本数据集，联合多标签二元交叉熵损失函数，监督跨域AU检测网络的优化： ， ， ， 其中，是跨域AU检测网络的整体损失函数，、分别是、的权重，表示目标域数据集的图像数据的数量，表示AU的数量，和分别表示目标域数据集的第个图像数据中第个AU的伪标签和预测值，若则表示第个AU在目标域数据集的第个图像数据中被激活，若则表示第个AU在目标域数据集的第个图像数据中未被激活，，表示置信度阈值，，是温度超参数，是经由图神经网络得到的目标域数据集的第个图像数据对应的融合特征，是第个AU对应的AU文本特征，是经由文本编码器提取的第个AU对应的第个负面AU文本描述的文本特征，是负面AU文本描述数量； 步骤4，利用跨域AU检测模型，实现跨域AU检测。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人江苏第二师范学院;上海心灵伙伴大数据科技有限公司;南京芯越智能科技有限公司，其通讯地址为：211222 江苏省南京市溧水区石湫街道新河西路6号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。