买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东北电力大学

摘要：本发明公开了一种基于突触重塑模型的情景记忆网络设计方法，涉及人工智能和神经网络技术领域。本发明包括以下步骤：设计情景特征编码器作为内部记忆单元并使用突触重塑参数重要性矩阵来更新内部记忆单元参数；从待分类样本中提取图像数据的视觉特征和语义特征；对提取的特征进行竞争，选取权重大的特征进行稀疏编码，形成情景特征矩阵。本申请通过内部记忆单元和外部记忆单元的记忆设计使得模型具备终身学习的能力。内部记忆单元负责短期和动态信息处理，确保模型对当前情景记忆的快速响应和理解；外部记忆单元则提供长期存储和回忆功能，使得模型能够在不同任务和情景中保持连贯的知识积累和应用能力。

主权项：1.一种基于突触重塑模型的情景记忆网络设计方法，其特征在于，包括以下步骤：设计情景特征编码器作为内部记忆单元并使用突触重塑参数重要性矩阵来更新内部记忆单元参数；从待分类样本中提取图像数据的视觉特征和语义特征；对提取的特征进行竞争，选取权重大的特征进行稀疏编码，形成情景特征矩阵；将注意力集中在能标志情景特征的图像子集上，从图像中提取出情景特征矩阵中的检索信息；注意力机制使用门函数对候选类别样本进行处理，得到情景特征，并通过多特征计算情景注意力权重，根据得到的情景注意力权重计算得到上下文向量；通过上下文向量和前一时刻的情景记忆向量来更新情景记忆，并将最终记忆传送到外部记忆单元中；设计基于键-值存储机制为外部记忆单元，提取视觉特征和语义特征之间的关系，形成键-值对，使用软注意力机制进行键寻址和隐状态更新；将分类结果与上下文信息结合，更新外部记忆单元的存储值；外部记忆单元由键-值对组成记忆槽，提取视觉特征和语义之间的关系，其中，记忆槽的键和值是通过对多个键和值特征向量进行加权求和得到的，具体的计算公式如下： 其中，作为权重将键和值的特征向量加权求和，得到该记忆槽的键用于在下一时刻的键寻址，记忆槽的值作为输入传递到编码器产生下一个类别；获取键的步骤为：通过情景特征编码器提取的类别数据集合中的每一个样本的特征向量，将提取的特征向量按照顺序组织起来，组织好的特征向量被记录为键，表示样本之间的视觉前后关系，即键就是组织好的特征向量，表达式为；获取值的步骤为：每一帧图像通过预训练模型CLIP提取出视觉和语义信息，形成视觉语义嵌入表示，用表示；然后，将这些嵌入和对应的键组合，形成键-值记忆槽；其中，键是从情景特征编码器提取的特征向量，值是通过CLIP模型得到的视觉语义嵌入；键寻址的步骤为：使用软注意力机制得到每个存储器的对齐概率，键寻址前一时刻读取的值作为输入来读取过去的值，输出新的隐状态公式如下： 其中为tanh函数；在时刻，分类结果是解码器隐状态和键寻址隐状态的加权求和得到的，表达式为： 根据获取的分类结果和时刻的键向量通过tanh函数，得到第时刻特征向量的相关性得分： 最后，使用Softmax函数得到新的对齐概率，表达式为： 其中，为对进行指数运算，表示对所有个特征向量的相关性得分进行指数运算后再求和，这个求和操作用于归一化，以确保对齐概率的总和为1。

全文数据：

权利要求：

百度查询： 东北电力大学 基于突触重塑模型的情景记忆网络设计方法