买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆市天实精工科技有限公司

摘要：本发明公开了一种基于IRCUT相机的投影指读系统标定方法，包括一部IRCUT相机，一部投影仪，一个红外补光灯，一台屏幕及后端处理设备，该系统通过神经网络模型获取食指指尖二维坐标，再利用标定得到的单应性矩阵，将指尖坐标转换为屏幕坐标，然后提取屏幕中食指指尖上方ROI的图像，并传入OCR应用接口，最后OCR应用返回距离指尖最近位置的文本识别结果，本发明的有益效果包括：降低了指读交互系统的成本，增加了指尖定位的抗干扰能力，同时满足了对该系统进行标定的需求，使用手部识别+手部关键点检测两个神经网络模型，识别鲁棒性更高。

主权项：1.一种基于IRCUT相机的投影指读系统标定方法，其特征在于：所述指读系统，包括投影仪、后端处理设备、屏幕，其中所述投影仪包括相互控制连接的投影仪镜头、IRCUT相机、红外补光灯，所述投影仪与所述后端处理设备连接通讯用以将所述IRCUT相机获取的图像传输给所述后端处理设备，所述后端处理设备包括手部识别模块、手部关键点检测模块及OCR模块，用于手部关键点识别，ROI截取，OCR；所述后端处理设备与所述屏幕连接通讯，用以将处理后的图像数据传输至所述屏幕；所述屏幕与所述投影仪连接通讯，用以实时将图像传输至所述投影仪镜头，并由投影仪镜头进行投影；所述指读系统的标定方法包括以下步骤，S1.1、相机标定，将IRCUT相机的红外截止滤光片保持默认移开，根据张氏标定法单独对相机进行内参标定，计算相机内参K，畸变系数D以及重投影误差R；S1.2、投影平面单应性标定，投影仪连接屏幕并打开，将屏幕上的圆点靶标投影到待标定平面，该圆点靶标为18个实心黑色圆点，已知这些圆点靶标的圆心在屏幕上的像素坐标为其中i=1,2,3...18；S1.3、用相机拍摄投影在平面上的圆点靶标，并通过步骤S1.1中相机标定得到的内参与畸变系数对该拍摄到的投影图像进行畸变矫正，并通过轮廓检测与质心定位算法，计算畸变矫正后投影图像上各圆点靶标圆心的像素坐标；S1.4、计算单应性矩阵H，获取投影仪与屏幕间对应像素的映射关系，根据公式 （1）即 （2）变换后 （3）H为待求解的3×3单应性矩阵，使用全部18对匹配点，并通过随机采样一致算法去除错匹配点，然后将剩余的匹配点带入上式构成超定方程，通过最小二乘法得到最优解，其目标函数为： （4）；S1.5、标定完成后，将各投影靶标圆心坐标带入公式1，得到映射回屏幕的圆心像素坐标，以屏幕上原始圆心像素坐标为参考值，计算与的最大欧式距离MaxDist，并设定距离阈值ThreDist， （5）如果，则标定失败，反之则标定成功；还包括指读识别方法，具体包括以下步骤，S2.1、投影仪正常工作，IRCUT相机移入红外截止滤光片，打开红外补光灯；S2.2、手部关键点定位，用户预先在后端处理设备中预设惯用手，从图像中获取惯用手拇指与食指的指尖、指根共四个关键点像素坐标；S2.3、ROI截取，将检测出的四个手部关键点坐标带入公式1，得到它们在屏幕上的像素坐标，进而得到两条直线与，这两条直线的夹角为α，设定阈值度数t1，当夹角αt1时，代表向系统发出ROI截取指令，系统会捕获屏幕中食指尖上方的ROI图像，并传入OCR应用接口中；S2.4、ROI大小设置，ROI的大小存在一个初始值，并定义一种重新设置ROI大小的交互方式，设定阈值度数t2，当双手位置被系统捕获时，且非惯用手的夹角α≥t2时，系统会触发重新设置ROI大小的指令，此时，非惯用手的食指尖屏幕坐标会作为该区域的左上角坐标，而惯用手的屏幕坐标会作为该区域的右下角坐标，当非惯用手的夹角αt2时，ROI大小设置完成；S2.5、OCR文本识别，通过步骤S2.3得到的ROI图像，OCR应用会对该图像进行识别，并返回距离指尖最近的文本图像识别结果。

全文数据：

权利要求：

百度查询： 重庆市天实精工科技有限公司 一种基于IRCUT相机的投影指读系统标定方法