恭喜杭州电子科技大学唐然获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜杭州电子科技大学申请的专利一种基于DSP的实时视频拼接方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115131209B 。
龙图腾网通过国家知识产权局官网在2025-04-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210740614.8,技术领域涉及:G06T3/4038;该发明授权一种基于DSP的实时视频拼接方法是由唐然;黄晓峰;章天杰;周洋;陆宇;殷海兵;崔燕设计研发完成,并于2022-06-28向国家知识产权局提交的专利申请。
本一种基于DSP的实时视频拼接方法在说明书摘要公布了:本发明属于图像处理领域,公开了一种基于DSP的实时视频拼接方法,采用select操作方式定向选择数据,借助gather和scatter指令将不连续RAM地址中的数据加载到向量寄存器中;图像配准算法部分:在匹配前设定阈值预筛选特征点,基于汉明距离进行特征点匹配。算法均使用SIMD指令集并行处理多数据,提高计算效率;采用PING‑PONG方式传输数据,旨在隐藏视频拼接过程中外部存储器访问的周期,从而有效提高数据吞吐量。最后,基于DAG生成算法调度表,在双DSP平台上并行执行ORB特征提取算法。本发明减少了计算复杂度;并为计算机视觉相关的算法在DSP平台上研究提供了参考。
本发明授权一种基于DSP的实时视频拼接方法在权利要求书中公布了:1.一种基于DSP的实时视频拼接方法,其特征在于,包括如下步骤:步骤1:ORB特征提取:采用select操作方式定向选择数据,借助gather和scatter指令将不连续RAM地址中的数据加载到向量寄存器中;首先使用FAST算子检测特征点并确定特征点的主方向,最后创建BRIEF描述子,具体步骤如下:步骤1.1:FAST特征检测;步骤1.2:确定特征点的方向;ORB算法中采用灰度质心法确定特征点的方向;步骤1.3BRIEF特征描述;采用FAST算子检测出带有方向的特征点后,对这些特征点进行描述;步骤2:特征匹配:在匹配前设定阈值预筛选特征点,基于汉明距离进行特征点匹配,算法均使用SIMD指令集并行处理多数据;基于汉明距离来判断,任何小于阈值的汉明距离对应的点对判定为匹配点,汉明距离是两个字符串中对应位置的不同字符的个数;基于DSP对ORB特征点先进行预筛选,并在匹配过程中并行优化,具体过程如下:步骤2.1:筛选出感兴趣域内的特征点,减少汉明距离的计算,感兴趣域为一对图像中任意两个特征点同时满足以下条件: 其中,X和Y分别是特征点的横、纵坐标值,A是特征点的角度,TX,TY,TA分别是横、纵坐标和角度的阈值,i和j表示两幅图像中全部特征点;步骤2.2:通过PING-PONG操作传送数组中的描述子到64-way、8bit寄存器中,对于大小为256-bit的描述子,采用XOR操作并行计算汉明距离;步骤2.3:对步骤2.2中的结果利用查表法得到汉明距离,查表过程如下:a构建一个含有256元素的表Table[i],其中,i是二进制8bit对应的十进制数,Table[i]是此二进制中“1”的个数;b描述子中每8位二进制和0xff作与运算,得到步骤a中的i值;c使用b中i值查表得“1”的个数,累加得到描述子汉明距离;d判定汉明距离小于阈值所对应的点对为一对匹配点;步骤2.4:反向匹配,消除误匹配点,仅对正向匹配:获得的匹配点再次判断;步骤3:系统级优化:采用PING-PONG方式传输数据,隐藏视频拼接过程中外部存储器访问的周期;基于DAG生成算法调度表,在双DSP平台上并行执行ORB特征提取算法;所述步骤3DSP上系统级优化分为两部分:在数据传输部分,利用PING-PONG缓冲器传输tile,已提供数据计算的效率;在算法处理调度部分,整个视频拼接过程基于DAG在双DSP平台上高度并行化,具体步骤如下:步骤3.1:图像数据PING-PONG传输;基于DSP和iDMA设计一种PING-PONG双缓存模式并行传输tile,这些缓存区分别存储tile中待处理信息,当DSP内核处理PING缓存中tile0in0数据时,tilein1在PONG缓存中通过iDMA传输,之后iDMA传输延迟被tile的处理过程隐藏;步骤3.2:算法在双DSP并行实现;将FAST-9、NMS、BRIEF算法在两个DSP上做并行处理;DAG是一种数据结构,也是描述系统进行过程的有效工具,表示为G=V,E,其中,G表示一个有向无环图;V是G中节点的集合,表示具体的算法;E是G中边的集合,表示各个算法间的逻辑关系,首先将算法根据依赖关系映射到二维平面上,并依次对算法编号;然后使用DAG表示拼接算法的执行流和它们之间的约束关系;根据逻辑关系为特征检测、特征点匹配、图像融合以及它们之间的数据流向创建对应的DAG;基于DAG生成对应的算法调度表后,对算法相关性和双DSP结构分析,采用双DSP将两张图像FAST特征点提取部分算法的串行操作转换为并行,为了实现各DSP之间的数据共享,采用共享存储器的方式;实时视频拼接过程在DSP串行模式上实现分为五步:tile数据初始化,ORB特征提取,特征点匹配,图像融合,结果写入tile并保存到内存中,由于是两张图像进行视频拼接,FAST-9、NMS、BRIEF算法过程循环计算两次,采用双DSP并行实现;步骤4:图像拼接:对待匹配图像做透视变换,利用单应性矩阵,由RANSAC算法筛选后匹配点经过计算得出,最后,两张待拼接图像通过直接拼接得到全景图像。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州电子科技大学,其通讯地址为:310018 浙江省杭州市下沙高教园区2号大街;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。