买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江工业大学申请的专利计数图辅助的跨模态人流监控方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114724081B 。

龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210348731.X，技术领域涉及：G06V20/52；该发明授权计数图辅助的跨模态人流监控方法和系统是由董天阳;周宇浩设计研发完成，并于2022-04-01向国家知识产权局提交的专利申请。

本计数图辅助的跨模态人流监控方法和系统在说明书摘要公布了：计数图辅助的跨模态人流监控方法，包括：步骤1，生成计数图，用基于深度强化学习的模型LibraNet，以VGG16卷积神经网络为前端，以深度强化学习网络为后端，输出计数图；步骤2，基于跨模态的网络模型进行人群计数，设计网络模型，以作为三模态的RGB、热成像图、计数图为输入，输出密度图，对密度图里的值进行求和，获得作为输入的RGB图像的总人数。本发明还包括计数图辅助的跨模态人流监控系统。本发明提供的模型能兼顾光照变化和尺度变化，生成更精确的密度图。

本发明授权计数图辅助的跨模态人流监控方法和系统在权利要求书中公布了：1.计数图辅助的跨模态人流监控方法，包括如下步骤：步骤1，生成计数图；计数图是对密度图一定区域的积分，能反应出图像的尺度变化；计数图生成方法采用基于深度强化学习的模型LibraNet，该模型LibraNet以VGG16卷积神经网络为前端，以深度强化学习网络为后端，输出计数图；具体包括：11训练深度强化模型；选取RGBT-CC数据集为训练用的数据集，该数据集分为训练集、测试集、验证集，每个集合均有RGB、热成像图、标注数据，标注数据显示了热成像图中每个人的头部中心的像素位置；将训练集的热成像图和标注数据作为训练数据，将该测试集的热成像图和标注数据作为测试数据，以此来训练深度强化模型LibraNet；以{-10，-5，-2，-1，1，2，5，10，999}为动作集，其中999为终止动作，剩余的动作表示像素区域中计数值的变化大小；12生成计数图；将训练好的LibraNet模型固定，输入RGBT-CC数据集中所有的热成像图来生成计数图；计数图中的每个值能反应对应热成像图像素区域的数量信息；13计数图优化；因为生成的计数图的长、宽只有原来的其中n表示作为LibraNet前端的VGG16的池化层数量，需要进行上采样来使大小与原图一致；采用最近邻插值方式进行上采样，并在每个像素位置除以22*n，以使总的计数值不变并且图像大小与原图一致；步骤2，基于跨模态的网络模型进行人群计数；设计跨模态网络模型，该模型有四个分支，分为三个输入分支和一个输出分支，三个输入分支分别输入作为三个模态的RGB、热成像图和计数图；输出分支为共享分支，它初始化为0，接收并细化三个模态的信息，它的输出为密度图；除了共享分支外，其余分支均由VGG-19构成；由于VGG-19可分为5层模块，除了最后一层模块，每层模块最后都配备一个2×2的池化层，故三个输入分支均可分为5层模块；共享分支由去除前两层的VGG-19构成，可分为4层模块；设计好模型之后，用RGBT-CC数据集进行训练；训练好模型之后，基于该模型进行人群计数；具体包括：21生成上下文信息I；将网络中每个分支每层模块生成的特征图F，用L级金字塔池化层来提取上下文信息I；具体地，对于第l层，l＝1,2，...，L，采用一个2l-1×2l-1最大池化层，以h×w特征图F为输入，输出一个特征，然后用最近邻插值方法上采样到h×w，形成上下文特征Fl；最后，上下文信息I可由式1计算： 式中表示特征串联操作，Conv1×1表示一个1×1卷积层；22细化共享分支特征图；RGB分支、热成像分支、计数图分支和共享分支的每层模块生成的特征图通过公式1转化为上下文信息，并将该上下文信息作为输入，输出细化的共享分支的特征图；具体公式如下：Ir2s＝Ir-Is，ωr2s＝Conv1×1Ir2s，It2s＝It-Is，ωt2s＝Conv1×1It2s，2Ic2s＝Ic-Is，ωc2s＝Conv1×1Ic2s， 式中Ir、It、Ic、Is是RGB分支、热成像分支、计数图分支、共享分支每层模块生成的特征图Fr、Ft、Fc、Fs通过公式1计算得出的上下文信息，为细化的共享分支特征图，Ir2s、It2s、Ic2s分别是Ir、It、Ic对Is的残差信息，ωr2s、ωt2s、ωc2s是由1×1卷积层输入对应的上下文信息Ir2s、It2s、Ic2s获得的权重参数，⊙是元素级乘法运算；23细化RGB分支、热成像分支和计数图分支的特征图；将细化的共享分支特征图通过公式1生成上下文特征再以为核心，对的RGB分支、热成像分支、计数图分支每层模块生成的特征图进行细化；具体公式如下： 式中Is2r、Is2t、Is2c分别是细化的共享分支上下文信息对RGB分支、热成像分支、计数图分支每层模块的上下文信息Ir、It、Ic的残差信息，ωs2r、ωs2t、ωs2c是由1×1卷积层输入对应的上下文信息Is2r、Is2t、Is2c获得的权重参数，Fr、Ft、Fc分别是RGB分支、热成像分支、计数图分支每层模块生成的特征图，分别是对RGB分支、热成像分支、计数图分支每层模块生成的特征图细化后的特征图；24数据预处理；先计算出RGBT-CC数据集中RGB图、热成像图的均值和方差值，将其归一化；训练时采取随即采样法，采样256×256大小的区块；25网络训练；设置好数据集的路径后，进行训练；训练时仅训练跨模态的部分，对计数图生成模块固定；训练到20周期后，每过1次训练周期进行一次验证，当验证效果最佳时，记录该模型参数，并进行一次测试，得出测试集的评估结果；每训练一个周期都会记录模型参数、优化器参数、训练周期；26人群计数；该网络模型训练好后，进行人群计数；人群计数需要用到RGB图和热成像图，通过热成像图和LibraNet模型生成计数图；以RGB图、热成像图、计数图为输入，输出密度图；密度图作为一种二维数组，能反应计数结果；将密度图里的值进行求和，就能得到作为输入的RGB图像的总人数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江工业大学，其通讯地址为：310014 浙江省杭州市拱墅区潮王路18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。