买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京长河数智科技有限责任公司;长河信息股份有限公司申请的专利一种基于多模态融合的微表情识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117935339B 。

龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410315553.X，技术领域涉及：G06V40/16；该发明授权一种基于多模态融合的微表情识别方法是由张煇;剌昊跃;柳世豪设计研发完成，并于2024-03-19向国家知识产权局提交的专利申请。

本一种基于多模态融合的微表情识别方法在说明书摘要公布了：本申请公开了一种基于多模态融合的微表情识别方法，涉及微表情识别技术领域，包括：采集多模态数据，多模态数据包含用户数据和环境数据，用户数据包含微表情和生理参数；环境数据包含光照和温湿度，微表情指面部精细表情特征；提取微表情的表征向量，表征向量表示微表情图像或视频序列的语义特征；根据微表情的表征向量与不同情感类别的对应关系，构建微表情知识图谱；采用实体对齐算法，在同一特征空间内，利用语义约束将微表情知识图谱和生理参数进行特征对齐，构建多模态知识图谱；基于多模态知识图谱和环境数据，构建微表情识别模型，输出表示微表情识别结果。针对现有技术中微表情识别精度低的问题，本申请提高微表情识别的精确度。

本发明授权一种基于多模态融合的微表情识别方法在权利要求书中公布了：1.一种基于多模态融合的微表情识别方法，包括：采集多模态数据，多模态数据包含用户数据和环境数据，用户数据包含微表情和生理参数；环境数据包含光照和温湿度，微表情指面部精细表情特征；提取微表情的表征向量，表征向量表示微表情图像或视频序列的语义特征；根据微表情的表征向量与不同情感类别的对应关系，构建微表情知识图谱；采用实体对齐算法，在同一特征空间内，利用语义约束将微表情知识图谱和生理参数进行特征对齐，构建多模态知识图谱；基于多模态知识图谱和环境数据，构建微表情识别模型，输出表示微表情识别结果的情感分析向量；提取微表情的表征向量，表征向量表示微表情图像或视频序列的语义特征，包括：将采集的微表情图像序列作为输入，利用卷积神经网络获取表示图像序列空间特征的特征映射A；获取特征映射A，包括如下子步骤：将采集的微表情图像序列输入ResNet-50卷积神经网络模型，得到特征映射矩阵，特征映射矩阵的形状为[height，width，channels]；将特征映射矩阵展平为一个向量v；计算向量v的L2范数，L2_norm＝sqrtsumv2；对L2_norm进行正则化处理，正则化后的向量v'＝vL2_norm+eps，其中，eps是小的平滑项；将正则化后的向量v重塑为形状[height，width，channels]，得到特征映射A；将微表情图像序列和特征映射A作为输入，利用循环神经网络获取表示时间特征的隐状态向量B；获取隐状态向量B，包括如下子步骤：将微表情图像序列和特征映射A输入预训练的LSTM模型，得到隐状态向量B；将隐状态向量B作为输入，利用注意力机制的神经网络计算不同时间步的权重分数C；计算不同时间步的权重分数C，通过如下公式：C＝SoftmaxFCB其中，FC表示全连接层，Softmax表示将输入值转换到0至1范围内；将获取的特征映射A、隐状态向量B和权重分数C进行组合，得到表示图像序列语义信息的微表情的表征向量D，表征向量D中每个维度对应不同的面部肌肉动作；特征映射A表示微表情图像序列的纹理特征；隐状态向量B表示微表情图像序列中相邻时间步的特征映射A之间的变化趋势，反映微表情的纹理特征在相邻时序之间的变化过程；权重分数C根据不同时间步对微表情识别的重要性贡献进行降序排列，重要性贡献由注意力机制的神经网络基于输入的隐状态向量B进行计算得到；表征向量D采用L2正则化防止过拟合；卷积神经网络采用残差网络ResNet；循环神经网络采用长短期记忆网络LSTM；注意力机制的神经网络采用空间注意力机制；根据微表情的表征向量与不同情感类别的对应关系，构建微表情知识图谱，包括：获取微表情的表征向量；构建表示正面情感、负面情感和中性情感的三种类型的节点，采用词向量表示不同类型的节点；将词向量表示的节点和表征向量作为输入，构建基于注意力机制的LSTM网络，输出表征向量和各节点间的连接权重；根据表征向量、各类型节点和连接权重，构建微表情知识图谱；基于注意力机制的LSTM网络中，注意力机制采用缩放点积；构建微表情知识图谱，知识图谱采用Neo4j构建；构建多模态知识图谱，包括：获取微表情知识图谱和生理参数，生理参数包含心率时间序列x1,x2,.....,xn和血压时间序列y1,y2,.....,ym；通过节点嵌入模型提取微表情知识图谱节点的语义特征向量；通过LSTM网络提取生理参数的时间序列特征，包括如下子步骤：将心率时间序列输入到LSTM，输出心率在每个时间的特征向量h1；将血压时间序列输入到LSTM，输出血压在每个时间的特征向量h2；采用t分布式随机近邻嵌入算法将提取的语义特征向量和时间序列特征，映射到同一低纬空间，包括如下子步骤：将节点向量、心率特征和血压特征作为输入，利用t-SNE模型，获取向量y1、y2和y3；其中，向量y1表示节点语义向量，y2表示心率特征向量，y3表示血压特征向量；y1、y2和y3的维度为2维至64维；在映射的低纬空间内，采用知识图谱翻译模型，将微表情知识图谱的语义特征向量和生理参数的时间序列特征进行对齐，得到对齐后的多模态知识图谱，包括如下子步骤：将y1作为头实体，将y2作为尾实体，通过最小化节点的距离，得到矩阵M；利用矩阵M对y1坐标变换，得到y1'；将y1'，y2和y3映射到相同的空间，得到对齐后的多模态向量，用于构建多模态知识图谱。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京长河数智科技有限责任公司;长河信息股份有限公司，其通讯地址为：100071 北京市丰台区汽车博物馆西路8号院3号楼7层705；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。