买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南方医科大学

摘要：本申请公开了一种基于深度学习的胶囊胃镜胃部部位识别方法及系统，属于计算机技术领域。该方法包括：逐帧获取胶囊胃镜视频的视频帧，得到当前视频帧图像；对当前视频帧图像进行图像特征提取处理，得到第一胶囊胃镜图像特征；根据第一胶囊胃镜图像特征进行特征存储处理，更新在先胶囊胃镜图像特征；其中，在先胶囊胃镜图像特征包括当前视频帧之前的视频帧图像特征；将第一胶囊胃镜图像特征和在先胶囊胃镜图像特征进行基于交叉注意力的时序信息融合处理，得到第二胶囊胃镜图像特征；根据第二胶囊胃镜图像特征，得到当前视频帧的胃部部位识别结果。本申请通过在先胶囊胃镜图像特征对当前帧进行时序引导，实现了更加准确高效的胃部部位识别效果。

主权项：1.一种基于深度学习的胶囊胃镜胃部部位识别方法，其特征在于，包括以下步骤：逐帧获取胶囊胃镜视频的视频帧，得到当前视频帧图像；对所述当前视频帧图像进行图像特征提取处理，得到第一胶囊胃镜图像特征；根据所述第一胶囊胃镜图像特征进行特征存储处理，更新在先胶囊胃镜图像特征；其中，所述在先胶囊胃镜图像特征包括所述当前视频帧之前的视频帧图像特征；将所述第一胶囊胃镜图像特征和所述在先胶囊胃镜图像特征进行基于交叉注意力的时序信息融合处理，得到第二胶囊胃镜图像特征；根据所述第二胶囊胃镜图像特征，得到所述当前视频帧的胃部部位识别结果；其中，所述对所述当前视频帧图像进行图像特征提取处理，得到第一胶囊胃镜图像特征，包括以下步骤：通过第一卷积核对所述当前视频帧图像进行分块处理，得到若干个第一图像块；将所述第一图像块在高和宽的维度展平，得到第一图像块特征；在所述图像块特征的开头添加状态标记，得到第二图像块特征；基于正弦函数和余弦函数的编码方式，对所述第二图像块特征进行绝对位置编码，得到位置编码结果；将所有的所述第二图像块特征整合为第一图像特征层；将所述第一图像特征层和所述位置编码结果进行相加处理，得到第二图像特征层；对所述第二图像特征层进行多头自注意力操作，得到第三图像特征层；从所述第三图像特征层中提取处理后的状态标记，作为第一胶囊胃镜图像特征；其中，所述将所述第一胶囊胃镜图像特征和所述在先胶囊胃镜图像特征进行基于交叉注意力的时序信息融合处理，得到第二胶囊胃镜图像特征，包括以下步骤：将权值矩阵与所述第一胶囊胃镜图像特征进行矩阵乘法操作，得到第一多头注意力特征；将所述权值矩阵与所述在先胶囊胃镜图像特征进行矩阵乘法操作，得到第二多头注意力特征；计算所述第一多头注意力特征与所述第二多头注意力特征的交叉注意力值；将所述交叉注意力值在特征维度进行拼接，进而通过多层感知机进行输出，得到第二胶囊胃镜图像特征。

全文数据：

权利要求：

百度查询： 南方医科大学 一种基于深度学习的胶囊胃镜胃部部位识别方法及系统