买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜上海索思数据科技有限公司申请的专利一种自然语言处理模型的跨模态信号数据分析方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118965127B 。

龙图腾网通过国家知识产权局官网在2025-04-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411455869.5，技术领域涉及：G06F18/241；该发明授权一种自然语言处理模型的跨模态信号数据分析方法是由王涛设计研发完成，并于2024-10-18向国家知识产权局提交的专利申请。

本一种自然语言处理模型的跨模态信号数据分析方法在说明书摘要公布了：本发明涉及自然语言处理和跨模态学习技术领域，尤其涉及一种自然语言处理模型的跨模态信号数据分析方法，包括通过归类处理原始数据集和分配标识符，提高数据处理的效率和准确性；通过提取出的特征使得不同模态的数据能够在同一维度上进行比较和分析；通过建立共享表示空间为不同模态数据的融合提供了平台；通过多模态特征信息融合，更好地反映数据的本质和内在规律，为后续的时间动态信息建模分析提供数据基础；通过对时间动态信息的建模分析，捕捉到数据中的变化趋势；通过异常数据识别与事件预警，以便及时采取措施处理异常事件。本发明用于解决现有方案中跨模态数据融合与异常精准预警的技术问题。

本发明授权一种自然语言处理模型的跨模态信号数据分析方法在权利要求书中公布了：1.一种自然语言处理模型的跨模态信号数据分析方法，其特征在于：步骤一、将原始数据集进行收集后，进行归类处理，并对每个类别的数据集分配唯一的编号标识符；其中，每个类别的数据集包括文本数据集、图像数据集以及音频数据集；步骤二、对编号后的所有数据集进行特征提取；其中所述步骤二，对编号后的所有数据集进行特征提取的过程包括：对于文本数据集T，遍历整个文本数据集T中的所有文本，汇总所有单词，去除重复项，并按照词频降序排列，形成词汇表V；其中，词汇表V包含所有唯一单词的集合；确定文本数据集T包含的单词集合；基于定义后的词汇表为每个文本构建一个长度与V相同的向量 ，式中，向量的每个位置对应词汇表V中的一个单词；|V|表示词汇表V的大小，即V中单词的数量；表示词汇在文本中的出现频率，即，其中，b表示定义的词汇表中词汇的索引，且b=1,2，…，|V|；是文本中的词汇总数；c为文本中词汇的索引，表示文本中的第c个词汇；表示对文本中的每一个词汇进行求和；是特征函数，当时，即当文本中的词汇等于词汇表中的词汇时，则返回1，当时，则返回0；将作为输入图像，为CNN模型的前向传播函数，L为模型中的倒数第二层的索引，为该层的输出特征映射；对于每个图像，其在第L层的特征向量表示为；若第L层的输出是d维向量，则有 ，式中，d表示图像特征向量的维度索引；表示每个图像在第L层的特征值；对于每个音频样本进行分帧处理，得到加窗后的帧信号集合；式中，q表示帧信号，N表示帧信号总数；对每个帧信号进行短时傅里叶变换，得到复数频谱： ，式中，为帧z的复数频谱；z表示帧信号的编号，z=1，2，……，N；f表示频率；表示时间；为复指数函数，用于在不同频率下对信号进行正弦波的乘积，从而提取信号的频谱特性，表示虚数单位；提取所有的复数频谱数值，利用公式计算频谱质心： ，式中，表示频谱质心，即频谱的中心频率；fmin、fmax分别为考虑的频率范围的最小值和最大值；表示在频率f上的功率频谱，通过傅里叶变换得到的复数频谱的平方获得；基于频谱质心计算结果，获取若干频谱质心序列 ，式中，R表示频谱质心的总数；将频谱质心序列作为音频特征向量的一部分，即 ；步骤三、建立跨模态共享表示空间，统一表示不同模态的特征，并重构原始模态的特征向量；其中，不同模态的特征包括文本、图像以及音频特征；其中所述步骤三，建立跨模态共享表示空间，统一表示不同模态的特征，并重构原始模态的特征向量的过程包括：定义GX={g1，g2，……，gr}为共享表示空间；其中，GX表示共享集合，g表示共享集合中的单个数据点，r为共享表示的维度；对于文本、图像以及音频的特征向量，使用编码器E将其映射到共享表示空间中，即 ；通过解码器D从共享表示空间重构原始模态的特征向量： ，式中，分别为重构后的文本、图像以及音频特征向量；步骤四、根据重构原始模态的特征向量，将多模态特征信息进行融合，生成综合的多模态数据表示；其中所述步骤四，根据重构原始模态的特征向量，将多模态特征信息进行融合，生成综合的多模态数据表示的过程包括：设置多模态特征信息为，注意力矩阵为U；则不同模态融合后的特征DF表示为 ，式中，softmax为激活函数；H表示注意力权重矩阵的转置；y表示文本、图像、音频三种类型，且y=1，2，3；e为自然对数的底数；步骤五、针对多模态表示数据，进行时间动态信息的建模分析；其中所述步骤五，针对多模态表示数据，进行时间动态信息的建模分析的过程包括：将形成的多模态表示DF作为输入数据，即 ；其中，表示在时间点h的融合后的多模态特征向量，J表示时间点总数，且h=1，2，……，J；若与前o个时间点多模态特征表示有关，则构建时间动态信息模型： ，式中，B表示常数项；表示模型参数，每个模型参数反映了前一个时间点对当前时间点的影响程度，其中为模型参数的索引下标，即；o表示模型的阶数；表示多维白噪声误差向量；结合时间动态信息模型对值进行趋势分析时，若值随时间增加而增加，则表明多模态表示呈现上升趋势，揭示特征表达的复杂程度高；若值随时间减少，则表明多模态表示存在下降趋势，揭示特征表达的复杂程度低；步骤六、对时间动态信息的建模分析结果进一步分析，识别异常数据，并完成异常事件预警。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海索思数据科技有限公司，其通讯地址为：200030 上海市徐汇区虹漕路25-1号二层413室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。