买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：法可赛阿达斯独资有限公司

摘要：确定干净或脏污的拍摄图像的方法、系统和计算机可读存储介质。提供了用于确定由拍摄装置拍摄的图像是干净还是脏污的方法。这些方法包括：接收由图像拍摄装置拍摄的图像；根据预定义分割准则将接收到的图像分割成多个图像部分；针对图像部分中的至少一些中的每一个，执行图像部分的拉普拉斯滤波以产生包括图像部分的拉普拉斯滤波特征的特征向量；将特征向量提供给第一机器学习模块，该第一机器学习模块已被训练为根据对应的特征向量来产生干净脏污指标，该干净脏污指标包括对应的图像部分的干净或脏污的概率值；以及根据由第一机器学习模块产生的干净脏污指标来确定图像是干净的还是脏污的。还提供了适合于执行此类方法的系统和计算机程序。

主权项：1.一种确定由图像拍摄装置拍摄的图像是干净的还是脏污的方法，该方法包括：接收由所述图像拍摄装置拍摄的所述图像；根据预定义分割准则将所接收到的图像分割成多个图像部分；针对所述多个图像部分中的至少一些图像部分中的每一个图像部分，执行滤波器以产生所述多个图像部分中的所述至少一些图像部分中的每一个图像部分的特征向量；将所产生的特征向量中的至少一些中的每一个提供给第一机器学习模块，该第一机器学习模块已被训练为根据对应的特征向量来产生干净脏污指标，该干净脏污指标包括对应的图像部分的干净或脏污的概率值；根据由所述第一机器学习模块产生的所述干净脏污指标来确定所述图像是干净的还是脏污的，以及对对应的图像作为整体执行基于上下文的滤波，其中，所述基于上下文的滤波包括：确定包括邻近脏污部分的一个或更多个脏污块，其中，脏污部分是具有表示脏污的干净脏污指标的部分；检测所述一个或更多个脏污块的一个或更多个边缘；确定所述一个或更多个边缘中的锐度；以及根据以下项中的至少一项来调整所述一个或更多个脏污块中的所述邻近脏污部分的干净脏污指标：所述锐度；以及与所述边缘相邻的干净部分的干净脏污指标，其中，干净部分是具有表示干净的干净脏污指标的部分。

全文数据：确定干净或脏污的拍摄图像的方法、系统和计算机可读存储介质技术领域本公开涉及确定由拍摄装置拍摄的图像是干净的还是脏污的方法，并且涉及适合于执行此类方法的计算机程序、系统和计算系统。背景技术现有技术中已知用于监控拍摄装置例如摄像机的操作的不同方法和系统，其目的是确定例如由拍摄装置拍摄的图像是干净的还是脏污的。脏污的拍摄的图像由于例如对应的摄像机的脏污的“外部”镜头而导致可能不是可靠的，并且因此，在对应的应用中不可用。例如，仅仅因为用来拍摄图像的镜头不够干净，所以交通工具中的障碍物检测系统由于来自对应的车载摄像机的图像的差质量而可能变得不可用。作为例如灰尘积聚、泥浆飞溅、恶意绘画等的结果，镜头可能变脏污。脏污的拍摄的图像也可能由摄像机中的异常内部条件例如湿度负面地影响摄像机的内部元件而产生。例如，内部拍摄传感器可能由于由例如摄像机的水密性不足所引起的异常条件而失真地起作用。车载摄像机也可以被用作后视镜。在这种情况下，在显示器上示出拍摄的图像，当驾驶员处于驾驶位置时，驾驶员可以看到该显示器。汽车可以具有至少两个这种类型的后视镜带有对应的摄像机。在这些后视镜系统中由摄像机拍摄的图像相当干净同样很重要。摄像机的镜头的干净或脏污可以指例如镜头的外表面即，镜头的暴露于可能使镜头变脏的环境条件的表面的干净或脏污。如果镜头提供有外部保护膜，则镜头的干净或脏污理解为这种保护膜的干净或脏污。已知成像系统包括图像传感器和形成在图像传感器的视场内的透明保护层。此类成像系统包括按照预定图案发出光的光源。这些成像系统包括由图像传感器拍摄的图像数据中的光的预定图案的反射版本的检测。成像系统然后根据预定图案的反射版本来确定在图像传感器的视场内是否存在障碍物。用于对环境的区域进行成像的成像装置也是已知的。所述装置在存在于成像装置的视场内的物体和纹理texture上获取信息。然后成像装置识别存在于视场内的物体或纹理。所识别的物体的形状或纹理的失真度是基于所识别的物体的形状或纹理以及在物体或纹理上先前获取的信息来计算出的。然后可以基于根据所识别的物体的形状或纹理计算出的失真度来确定对应的镜头的干净或脏污。其它已知的检测装置关注如下事实：摄像机上的镜头越脏污，图像的复合波中的变化越大。这些装置通过提取复合波的各个图像频率分量以及分析这些频率分量之间的大小关系的变化图像频率功率的分布来检测摄像机上的镜头脏污的存在或不存在，而不管背景图像。本公开的目的是改进旨在确定由拍摄装置拍摄的图像是干净的还是脏污的现有技术的方法、计算机程序和系统。发明内容在第一方面中，提供了一种确定由拍摄装置拍摄的图像是干净的还是脏污的方法。该方法包括接收由图像拍摄装置拍摄的图像以及根据预定义分割准则将所接收到的图像分割成多个图像部分。该方法还包括针对所述多个图像部分中的至少一些图像部分中的每一个图像部分，执行该每一个图像部分的拉普拉斯滤波以产生包括该每一个图像部分的拉普拉斯滤波特征的特征向量。该方法还进一步包括将所产生的特征向量中的至少一些中的每一个提供给第一机器学习模块，该第一机器学习模块已被训练为根据对应的特征向量来产生干净脏污指标，该干净脏污指标包括对应的图像部分的干净或脏污的概率值。该方法再进一步包括根据由第一机器学习模块产生的干净脏污指标来确定图像是干净的还是脏污的。如之前评论的，拍摄的图像中的脏污可能是由于多种原因诸如对应的摄像机的镜头上的灰尘积聚、泥浆飞溅、恶意画作等而导致的。脏污的拍摄的图像也可能由摄像机中的异常内部条件例如湿度负面地影响摄像机的内部元件而产生。例如，内部拍摄传感器可能由于由例如摄像机的水密性不足所引起的异常条件而失真地起作用。在这个意义上，可以在整个本公开中假定表述之间的以下等同。本文所使用的表述等同表述确定拍摄的图像是干净的还是脏污的确定拍摄的图像的无斑点性干净的拍摄的图像无斑点的拍摄的图像脏污的拍摄的图像非无斑点的拍摄的图像干净脏污指标斑点指标干净脏污阈值斑点阈值干净部分单元格无斑点部分单元格脏污部分单元格非无斑点部分单元格干净块无斑点块脏污块非无斑点块干净脏污无斑点性等等.......发明人发现诸如根据图像计算出的峰度、均值、方差、矩、平均灰度值等的拉普拉斯滤波特征可以令人惊讶地提供对应的图像的部分的干净脏污的可靠指示。发明人还发现可以通过机器学习技术来有效地且灵活地实现拉普拉斯滤波特征与干净脏污条件之间的可靠相关性或对应。所提出的方法因此提供了自动地检测由摄像机拍摄的图像的干净脏污水平的可靠方式。此外，所建议的方法允许通过定期地或准时地训练第一机器学习模块来递增地改进其可靠性，该第一机器学习模块可以包括例如线性分类器、支持向量机SVM等。通过将所拍摄的图像分割成单独地施以拉普拉斯滤波的部分，在所提出的方法中应用分而治之策略。然后，将得到的拉普拉斯滤波特征提供给分类器或类似的模块以在部分级别下产生干净脏污指标。最后，根据干净脏污指标来确定整个图像的状态。可以将图像划分成或多或少较大的或较小的部分，使得可以实现准确性与效率之间的良好平衡。较小的部分可以提高方法的准确性，而较大的部分可以提高其效率执行时间。可以实施所述方法的实验性的执行以找到满足期望的准确性和效率要求的最适合的分割准则。可以根据需要多次重新调整分割准则，以沿着方法和对应的软件的生命周期确保准确性与效率之间的最佳平衡。可以考虑不同的方法或其组合以确定所拍摄的图像整体而言的干净脏污状态。在第一方法中，可以聚合aggregate部分级别下的干净脏污指标，并且可以将得到的聚合与对应的阈值相比较以确定图像的干净或脏污。在第二方法中，可以根据部分级别下的干净脏污指标来确定干净部分或脏污部分的个数，并且可以将所述干净部分或脏污部分的个数与对应的阈值相比较以确定图像的干净或脏污。在第三方法中，可以使用第二机器学习模块来根据干净脏污指标生成图像的状态。在本公开的其它部分中提供了关于这些方法的细节。在根据本公开的方法中，可以在像素或部分指标级别下对所拍摄的图像应用不同的滤波以便改进处理图像的条件。可以基于边缘锐度分析在部分指标级别下应用基于上下文的滤波以校正潜在假脏污检测。可以在部分指标级别下执行时间滤波以将干净脏污指标标识为异常值并且随后校正丢弃所述异常值。可以在像素级别下执行拉普拉斯滤波以便于进行前述边缘锐度分析。在本公开的其它部分中提供了关于这些滤波的细节。在第二方面中，提供了一种计算机可读存储介质，该计算机可读存储介质包括用于使系统例如计算系统执行确定由拍摄装置拍摄的图像是干净的还是脏污的以上方法中的任一种的程序指令。在第三方面中，提供了一种用于确定由拍摄装置拍摄的图像是干净的还是脏污的系统。该系统包括：接受器模块，该接受器模块用于接收由图像拍摄装置拍摄的图像；以及分割器模块，该分割器模块用于根据预定义分割准则将所接收到的图像分割成多个图像部分。该系统还包括滤波器模块，该滤波器模块用于针对多个多个图像部分中的至少一些图形部分中的每一个图像部分，执行该每一个图像部分的拉普拉斯滤波以产生包括该每一个图像部分的拉普拉斯滤波特征的特征向量。该系统还包括提供器模块，该提供器模块用于将所产生的特征向量中的至少一些中的每一个提供给第一机器学习模块，该第一机器学习模块已被训练为根据对应的特征向量来产生干净脏污指标，该干净脏污指标包括对应的图像部分的干净或脏污的概率值。该系统还进一步包括状态确定器模块，该状态确定器模块用于根据由第一机器学习模块产生的干净脏污指标来确定图像是干净的还是脏污的。如在本公开的其它部分中更详细地描述的，系统即，其中包含的模块可以通过计算手段、电子手段或其组合来实现。如本文所使用的，术语“模块”可以理解为指软件、固件、硬件和或其各种组合。注意的是，模块是示例性的。模块可以组合、集成、分离和或重复以支持各种应用。另外，替代在所描述的特定模块处执行的功能或者除了在所描述的特定模块处执行的功能之外，还可以在一个或更多个其它模块处和或由一个或更多个其它装置执行在本文中描述为在特定模块处执行的功能。此外，可以跨越本地或彼此远离的多个装置和或其它元件实现模块。此外，模块可以从一个装置移动并添加到另一装置，并且或者可以包括在两个装置中。可以将任何软件实施方式有形地具体实现在一个或更多个存储介质诸如存储器装置、软盘、光盘CD、数字通用盘DVD或可以存储计算机代码的其它装置中。在一些示例中，可以提供包括先前描述的用于确定由拍摄装置拍摄的图像是干净的还是脏污的系统中的任一个的交通工具视觉系统。还可以提供包括这种视觉系统的交通工具。交通工具可以是汽车。图像拍摄装置可以是摄像机或激光雷达或类似的装置。鉴于详细描述和附图，这些及其它优点和特征将变得显而易见。附图说明将在下文中参照附图描述本公开的非限制性示例，在附图中：图1是可以包括根据示例的用于确定由拍摄装置拍摄的图像是干净的还是脏污的系统的监视或视觉系统的示意表示；图2是示意性地表示根据示例的用于确定由拍摄装置拍摄的图像是干净的还是脏污的系统的框图；图3是示意性地例示了根据示例的用于确定由拍摄装置拍摄的图像是干净的还是脏污的方法的流程图；以及图4a和图4b示意性地例示了适合于根据本公开的方法的示例的基于上下文的滤波。具体实施方式图1是可以包括根据示例的用于确定由拍摄装置拍摄的图像是干净的还是脏污的系统的监视或视觉系统的示意表示。拍摄装置例如摄像机100可以被配置为通过对应的镜头101来拍摄环境的图像例如照片、视频。摄像机100在图中被示出为监视摄像机。然而，也可以考虑其它应用，诸如在交通工具中旨在检测障碍物、监控该交通工具的其它系统的检测视觉摄像机、驾驶辅助、后视镜系统等。此类视觉系统可以适合于任何类型的以及在任何介质上可移动的交通工具，诸如道路、铁路、船只、飞机、汽车等。在任何所提及的应用和其它应用中，摄像机100的镜头101可能由于例如灰尘积聚、泥浆飞溅、恶意绘画等而变脏污。当镜头的脏污过度时，摄像机100可能产生质量欠佳的图像。因此，可能关注确定镜头101何时变得过度脏污以便着手对应的校正动作，诸如自动清洁系统的激活、手动清洁警报的触发等。摄像机100可以是与计算系统可连接的，使得来自摄像机的图像可以由计算系统处理以确定镜头101是干净的还是脏污的。在一些示例中，可以相对于摄像机100在本地布置计算系统，如通过编号102所指示的。特别地，计算系统102可以在摄像机内部。在其它示例中，计算系统可以是可通过适合的连接107与摄像机100连接的云系统104。在另一些示例中，计算系统可以是可通过通信网络103例如因特网与摄像机100连接的远程系统105。在这种情况下，可以实现摄像机100与网络103之间的对应的连接106以及网络103与远程系统105之间的对应的连接108。计算系统102、104、105可以包括根据本公开的用于确定镜头干净脏污的系统。用于确定镜头干净脏污的系统可以完全包括在所述计算系统102、104、105中的任何一个中，或者可以分布在所述系统102、104、105中的若干个中。在后者情况下，例如，用于确定镜头干净脏污的系统的一些模块可以设置在系统102、104、105中的一个中并且其它模块可以包含在系统102、104、105中的另一个中。在此分布式方法中，系统102、104、105因此可以协作以执行确定镜头干净脏污的对应功能。用于确定镜头干净脏污的系统可以通过计算手段、电子手段或其组合来实现。计算手段可以是指令集即，计算机程序，然后用于确定镜头干净脏污的系统可以包括存储器和处理器，从而嵌入存储在存储器中并可由处理器执行的所述指令集。指令可以包括执行用于确定镜头干净脏污的方法的功能。在用于确定镜头干净脏污的系统仅通过电子手段来实现的情况下，控制器可以是例如CPLD复杂可编程逻辑器件、FPGA现场可编程门阵列或ASIC专用集成电路。在用于确定镜头干净脏污的系统是电子手段和计算手段的组合的情况下，计算手段可以是指令集例如计算机程序并且电子手段可以是能够实现用于确定镜头干净脏污的方法的一个或更多个对应的步骤的任何电子电路。计算机程序可以嵌入在存储介质例如，CD-ROM、DVD、USB驱动器、计算机存储器或只读存储器上或者承载在载体信号上例如，在电或光载体信号上。计算机程序可以是以源代码、目标代码、中间源代码codeintermediatesource以及诸如具有部分编译形式或者具有适合于在用于确定镜头干净脏污的方法的实施方式中使用的任何其它形式的目标代码的形式。载体可以是能够承载计算机程序的任何实体或装置。例如，载体可以包括存储介质，诸如ROM例如CDROM或半导体ROM或磁记录介质例如硬盘。此外，载体可以是诸如电信号或光信号的可传输载体，其可以经由电缆或光缆或者通过无线电或其它手段来输送。当计算机程序用可以通过电缆或其它装置或手段直接地输送的信号具体实现时，载体可以由此类电缆或其它装置或手段构成。另选地，载体可以是嵌入有计算机程序的集成电路，该集成电路被配置用于执行确定镜头干净脏污的方法，或者用于在执行该方法时使用。图2是示意性地表示根据示例的用于确定由拍摄装置拍摄的图像是干净的还是脏污的系统200的框图。可以在与图1所例示的场景类似的场景中使用此系统200，所以可以在图2的以下描述中使用来自图1的编号。此系统200可以包括接受器模块201、分割器模块202、滤波器模块203、提供器模块204和状态确定器模块205。接受器模块201可以被配置为接收由图像拍摄装置100通过镜头101拍摄的图像。如果系统200相对于摄像机100在远程云位置处，则接受器模块201可以包括通信功能。如果系统200相对于摄像机100布置在本地，则接受器模块201可以包括摄像机100与系统200之间的物理连接功能。如果系统200在摄像机100内部，则接受器模块201可以包括图像拍摄硬件软件与干净脏污确定软件硬件之间的接口功能。摄像机100与系统200之间的连接可以是任何已知的无线或有线类型的。一旦已经接收到图像，接受器模块201就可以将该图像提供给分割器模块202。分割器模块202可以被配置为根据预定义分割准则来将所接收到的图像分割成多个图像部分。可以将任何分割准则用于该目的，诸如分割成可以为四边形、矩形等的n×m个图像部分的矩阵。可以使用较小的部分来提高确定镜头101的干净脏污时的准确性。可以利用较大的部分来减少确定镜头101的干净脏污时的执行时间。图像部分的大小可以是预定义的，使得实现准确性与执行时间效率之间的良好平衡。一旦图像已经分割，分割器模块202就可以将图像部分提供给滤波器模块203。滤波器模块203可以被配置为针对图像部分的至少一些中的每一个执行图像部分的拉普拉斯滤波，以产生包括图像部分的拉普拉斯滤波特征的特征向量。特征向量可以包括拉普拉斯滤波特征，诸如图像部分的拉普拉斯滤波的峰度、均值、方差、矩等。发明人实施的多种实验令人惊讶地揭示了图像部分的拉普拉斯滤波特征与干净脏污条件之间的良好准确的相关性。发明人还发现所述良好的相关性可通过机器学习技术例如分类技术有效地实现。一旦已经产生图像部分的特征向量，滤波器模块203就可以将所述特征向量提供给提供器模块204。提供器模块204可以被配置为将所产生的特征向量中的每一个提供给第一机器学习模块，该第一机器学习模块已被训练为根据对应的特征向量来产生干净脏污指标。干净脏污指标可以包括对应的图像部分的干净或脏污的概率值。第一机器学习模块可以包含在提供器模块204中或者可以在提供器模块204外部。第一机器学习模块可以包括诸如线性分类器、支持向量机SVM等或它们的组合。可以使用任何已知的机器学习方法来根据满足拉普拉斯滤波特征与干净脏污概率指标值之间的预知相关性的样本数据来离线训练第一机器学习模块。一旦已经产生干净脏污指标，提供器模块204就可以将所述指标提供给状态确定器模块205。状态确定器模块205可以被配置为根据由第一机器学习模块产生的干净脏污指标来确定图像是干净的还是脏污的。状态确定器模块205因此可以根据由第一机器学习模块生成的在部分级别下的干净脏污指标产生指示整个镜头是干净还是脏污的总体概率值。状态确定器模块205可以基于以下状态确定方法中的任一种。在第一状态确定方法中，可以聚合相加、累加由第一机器学习模块提供的干净脏污指标以产生图像镜头的总体干净脏污指标，其可以与总体干净脏污阈值相比较。如果总体干净脏污指标超过总体干净脏污阈值，则脏污状态可以归因于镜头。否则，干净状态可以归因于镜头。可以根据新的已知输入数据和对应的预期输出数据定期地或准时地调整总体干净脏污阈值。这样，可以沿着方法以及对应的系统和软件的生命周期持续地提高方法的准确性。在第二状态确定方法中，可以根据部分是否被确定为干净的或脏污的来对由第一机器学习模块提供的干净脏污指标进行计数。此计数因此可以产生干净部分的个数和或脏污部分的个数。可以根据所述干净部分的个数和或脏污部分的个数将整个镜头确定为干净的或脏污的。在示例中，如果脏污部分的个数超过脏污部分阈值，则脏污状态可以归因于镜头。否则，干净状态可以归因于镜头。在另一示例中，如果干净部分的个数超过干净部分阈值，则干净状态可以归因于镜头。否则，脏污状态可以归因于镜头。可以根据新的已知输入数据和对应的预期输出数据定期地或准时地细化这些干净脏污部分阈值。这样，可以沿着方法以及对应的系统和软件的生命周期持续地提高方法的准确性。在第三状态确定方法中，可以将由第一机器学习模块产生的干净脏污指标提供给第二机器学习模块，该第二机器学习模块已被训练为根据图像部分的对应的干净脏污指标产生图像的总体干净脏污指标。在一些示例中，可以将由第二机器学习模块输出的图像的总体干净脏污指标直接地假定为镜头的状态。在其它示例中，可以通过根据情况对由第二机器学习模块输出的总体干净脏污指标执行某种变换来获得镜头的状态。第二机器学习模块可以包含在状态确定器模块205中或者可以在状态确定器模块205外部。第二机器学习模块可以包括例如线性分类器、支持向量机SVM等或它们的组合。可以使用任何已知的机器学习方法来根据满足部分级别下的干净脏污指标与整个图像镜头的全局干净脏污指标之间的预知相关性的样本数据来离线训练第二机器学习模块。这样，可以沿着方法以及对应的系统和软件的生命周期持续地提高方法的准确性。前述状态确定方法的任何组合可以在状态确定器模块205的实施方式中协作以产生更准确的结果。例如，可以组合来自实施不同状态确定方法的不同子模块的结果以产生整个图像镜头的组合干净脏污指标。此组合可以基于例如计算平均指标，该平均指标可以被假定为最终归因于镜头的状态。平均指标的此计算可以是加权计算，其中可以根据例如归因于对应的状态确定方法的预定义置信度来对与每个状态确定方法关联的指标进行加权。系统200还可以包括基于上下文的滤波模块未示出，该基于上下文的滤波模块被配置为确定具有表示脏污的干净脏污指标的邻近邻接图像部分脏污部分的一个或更多个脏污块，并且检测一个或更多个脏污块的一个或更多个边缘。基于上下文的滤波模块可以进一步配置为确定一个或更多个边缘中的锐度。基于上下文的滤波模块可以再进一步配置为根据锐度和或与边缘相邻的干净部分的干净脏污指标来调整脏污块中的脏污部分的干净脏污指标。干净部分是具有表示干净的干净脏污指标的部分。发明人发现在镜头上从干净到脏污或者反之亦然的成像变化是渐进的而不是突变的。因此，过度的锐度可以表示突变变化，该突变变化可能通常不对应于镜头上的脏污。例如，由车载摄像机拍摄的图像中的明显锐度突变性可能更可能对应于例如道路边缘、道路线等，而不是对应于镜头上的脏污。当检测到过度的突变变化边缘时，所提出的基于上下文的滤波因此可以允许基于减少脏污概率干净脏污指标来校正或者减弱脏污的假检测。可以根据例如包括在脏污块的边缘中的脏污部分的峰度来确定锐度。可以将所述锐度输入到第三机器学习模块例如线性分类器、SVM等，该第三机器学习模块已被训练为根据锐度输出干净脏污概率变化。然后，可以通过根据由第三机器学习模块产生的干净脏污概率变化来改变脏污块中的脏污部分的干净脏污指标而调整这些干净脏污指标。干净脏污概率的变化可以包括要与对应的干净脏污指标相加或相减的概率值。考虑到这个，作为所建议的基于上下文的滤波的结果，可以将先前已被分类为脏污的图像部分重新分类为干净的。可以根据包含在由滤波器模块203产生的图像部分的特征向量中的拉普拉斯滤波特征来确定图像部分的锐度。干净脏污概率变化的前述确定可以附加地或可选地包括确定与边缘相邻的干净部分的总体干净。此总体干净可以对应于例如相邻干净部分的干净脏污指标的平均值、均值、最大值、聚合等。可以例如由前述第三机器学习模块考虑此总体干净，以产生要传送到脏污块中的脏污部分的对应的干净脏污概率变化。通过总体干净表示的干净越高，相邻干净部分在干净脏污概率变化中的影响可以越高。通过总体干净表示的干净越低，相邻干净部分在干净脏污概率变化中的影响可以越低。图4a和图4b示意性地例示了适合于根据本公开的方法的示例的基于上下文的滤波。图4a例示了接收到的具有确定的干净部分403、404白色方块和确定的脏污部分401、402阴影方块的图像400。干净部分是具有表示干净的干净脏污指标的图像部分，而脏污部分是具有表示脏污的干净脏污指标的图像部分。可以在所示的特定示例中确定具有表示脏污的干净脏污指标的邻近图像部分的两个块401、402。还可以将脏污部分的所述块命名为ROI感兴趣区域401、402。为了简单起见，图4b关注来自前图的邻近脏污部分或单元格的块或ROI401、402中的一个。特别地，更详细地示意性地例示了脏污部分401的块。可以通过选择在块401中具有多于一个相邻干净部分单元格的那些脏污部分或单元格来确定块401的边缘。对具有多于一个相邻干净部分的脏污部分的这种选择可以忽视图像400的最外部分。还可以将包括在脏污部分单元格的ROI中的图像的最外部分单元格命名为ROI边界单元格。在所示的特定示例中，脏污单元格410具有两个相邻干净单元格413、414，脏污单元格411具有三个相邻干净单元格413-415，并且脏污单元格412具有三个相邻干净单元格414-416。类似地，脏污部分单元格407被示出为具有三个相邻干净部分单元格。脏污部分410-412因此可以形成块ROI401的边缘409并且单个脏污部分407可以形成块ROI401的另一边缘。还可以将形成ROI的边缘的部分单元格命名为ROI轮廓单元格。图像400的最外部分可以是包含在图像400中各部分的最左列417、最右列418、顶行419和底行420中的任一个中的那些部分。在所示的特定示例中，可以在选择具有多于一个相邻干净部分的脏污部分时丢弃形成区域405的三个部分和形成区域406的八个部分。因此，区域405和406的各部分中的任一个都不会被包括在块401的边缘中。换句话说，ROI边界单元格405、406中的任一个都不会被认为是ROI轮廓单元格407、409。类似地，可以丢弃边缘407，因为三个相邻干净单元格中的两个是图像的最外单元格。特别地，所述两个相邻干净单元格被包括在图像400的顶行419中。一旦已经确定块401的边缘409，就可以针对所述边缘中的图像部分来确定对应的锐度。可以根据旨在该目的的任何已知方法例如以说明书的其它部分中提出的方式确定这种锐度。对于所确定的锐度的全部或一部分中的每一个，可以执行锐度是否高于预定义突变阈值的验证。在所述验证的肯定真实结果的情况下，可以将具有这种锐度的图像部分保持为要调整其干净脏污指标的候选。否则，可以丢弃具有这种锐度的图像部分。可以预先确定突变阈值以在锐度高于所述阈值时表示从干净到脏污或者反之亦然的突变明显转变，或者在锐度不高于所述阈值时表示平滑渐变转变。可以将锐度与阈值之间的相等解释为模糊地表示突变或渐变转变。可以通过例如用尽可能详尽地表示多种突变和渐变变化的预知输入和输出训练的线性分类器来预先确定突变阈值。可以根据与边缘轮廓409相邻的干净部分413-416的总体干净来调整ROI401中的单元格的干净脏污指标即，干净脏污概率置信度值。可以取决于通过以下公式针对轮廓边缘中的每一个或一些计算出的α因子根据上述原理调整ROI401中的单元格的干净脏污指标：其中：调整后的权重轮廓是对应的轮廓边缘的α因子，#单元格区域轮廓对应于轮廓中的单元格的个数在图4b的示例中，轮廓409具有三个单元格410-412，#单元格ROI的边界对应于ROI的边界中的单元格的个数在图4b的示例中，ROI中的边界单元格的个数是十一，因为边界405具有三个单元格并且边界406具有八个单元格，以及权重_轮廓对应于可能已经通过用表示多种示例性情形的预知输入和输出训练例如线性分类器来重新定义的训练的因子。一旦已经针对对应的ROI401计算出α因子调整后的权重轮廓，就可以确定相邻干净单元格的最大较高干净脏污指标的测量值。确定所述测量值可以包括为对应的轮廓中的单元格中的每一个或一些选择表示最大较高干净的相邻干净单元格的干净脏污指标置信度。在所示的特定示例中，可以为脏污单元格410选择干净单元格413-414的最大较高干净脏污指标，可以为脏污单元格411选择干净单元格413-415的最大较高干净脏污指标，并且可以为脏污单元格412选择干净单元格414-416的最大较高干净脏污指标。一旦已经完成最大较高干净脏污指标的以上选择，就可以加上所选择的最大较高干净脏污指标或概率置信度。然后可以将所述加法的结果除以在轮廓边缘中已经考虑的单元格部分的个数，从而获得相邻干净单元格的干净由对应的轮廓继承的置信度。以下公式因此可以被用于该目的：其中：干净置信度轮廓是轮廓继承其相邻干净单元格的干净的置信度，#单元格区域轮廓是对应的轮廓中的单元格的个数在图4b的示例中，轮廓409具有三个单元格410-412，最大干净置信度i是与在轮廓中已经选择的第i个脏污单元格相邻的干净单元格的干净脏污指标置信度，因为该单元格与和第i个脏污单元格相邻的其它干净单元格相比，反映最大较高干净，以及∑i∈区域轮廓最大干净置信度i是为轮廓中的脏污单元格中的每一个或一些选择的相邻干净单元格的干净脏污指标置信度的加法。一旦已经确定干净置信度轮廓，就可以根据对应的调整后的权重轮廓按较高或较低效果而调整ROI中的单元格的干净脏污指标置信度。可以通过以下公式来确定这种调整：校正后的干净置信度内单元格＝干净置信度内单元格×1-调整后的权重轮廓+干净置信度轮廓×调整后的权重轮廓其中：校正后的干净置信度内单元格是ROI中的对应的单元格的调整后的干净脏污指标或置信度，并且干净置信度内单元格是单元格在调整之前的当前干净脏污指标或置信度。系统200还可以包括时间滤波模块未示出，该时间滤波模块被配置为对由拍摄装置随着时间的推移而拍摄的不同图像中的图像部分的干净脏污指标执行时间滤波。当摄像机100已经拍摄一系列图像时，特定图像部分可以揭示在该图像系列中从一个图像到另一图像的变化条件干净脏污指标。所提出的时间滤波可以包括检测异常值指标，该异常值指标可以被丢弃、校正、存储以供后续分析等。异常值的检测可以包括确定对应的图像部分的干净脏污指标的摘要值digestvalue例如最大值、平均值、中值等，以及确定干净脏污指标相对于摘要值的偏差是否超过预定义偏差阈值。然后可以将超过预定义偏差阈值的那些干净脏污指标分类为异常值。当在时间T拍摄的图像中的一部分的干净脏污指标相对于摘要值具有大偏差，并且在时间T+Δ和或T-Δ拍摄的其它图像中的该部分的干净脏污指标具有小得多的偏差时，这可能指示已经发生某种异常。在这种情况下，可以执行校正动作，诸如丢弃异常或异常值指标、基于例如插值技术校正异常值指标、存储异常值指标以供以后分析和解析等。可以将所提出的时间滤波应用于由摄像机100拍摄的图像系列中的图像的所有图像部分。可以考虑包括预定数量图像的系列中的图像间隔范围以在部分级别下执行这种时间滤波。系统200还可以包括拉普拉斯滤波模块未示出，该拉普拉斯滤波模块被配置为在像素级别下对对应的图像执行拉普拉斯滤波。此滤波可以包括确定拉普拉斯算子卷积核并且将所述拉普拉斯卷积核应用于图像的每个像素。可以以例如[010；1-41；010]的典型矩阵配置的形式预定义拉普拉斯卷积核。可以利用图像中的每个像素的值对此矩阵或类似进行卷积，从而对连续像素产生影响。拉普拉斯滤波是可以促进在图像中找到快速变化边缘的区域的导数滤波。因此，可以执行拉普拉斯滤波以促进由基于上下文的滤波模块执行的边缘和锐度检测如在本公开的其它部分中所描述的。可以对由摄像机100拍摄的所有图像单独地在像素级别下执行拉普拉斯滤波。图3是示意性地例示了根据示例的用于确定由拍摄装置拍摄的图像是干净的还是脏污的方法的流程图。这些方法可以由诸如相对于前图所描述的系统来执行。因此可以在图3的以下描述中使用来自图1和图2的附图标记。在块300处，作为例如由系统200接收到请求启动方法的请求的结果，可以开始该方法。例如当对应的交通工具、监视系统、视觉系统等已经开启时，可以自动地生成此请求。在块301处，可以由系统200接收由摄像机100通过镜头101拍摄的图像。此功能可以由系统200的接受器模块201执行。可以相对于此块301类似地考虑关于所述模块201评论的功能原理。在块302处，可以根据预定义分割准则将所接收到的图像分割成多个图像部分。此功能可以由系统200的分割器模块202执行。可以相对于此块302类似地考虑关于所述模块202评论的功能细节。在块303处，可以执行图像部分来自块302中的至少一些中的每一个的拉普拉斯滤波以产生包括该图像部分的拉普拉斯滤波特征的特征向量。此功能图像部分级别下的拉普拉斯滤波可以由系统200的滤波器模块203执行。关于此方法块303可以类似地设想对于所述模块203说明的基本原理。在块304处，可以将所产生的特征向量来自块303中的至少一些中的每一个提供给第一机器学习模块，该第一机器学习模块已被训练为根据对应的特征向量来产生干净脏污指标。此功能可以由系统200的提供器模块204执行。相对于所述模块204讨论的功能细节可以类似地应用于此块304。在块305处，可以根据由第一机器学习模块输出的干净脏污指标来确定指示镜头是干净的还是脏污的镜头的状态。此功能可以由系统200的状态确定器模块205实现。相对于所述模块205提供的功能说明可以类似地应用于此块305。在块306处，方法可以包括是否满足预定义结束条件的验证。在所述验证的肯定或真实结果的情况下，可以执行到块307的转变以便结束方法的执行。否则，方法可以循环回到块301以便接收新图像并且因此开始方法的新迭代。最终条件可以包括请求完成方法的请求，在此情况下可以完全把方法计算机程序最后定下来在块307处。最终条件可以考虑例如在未接收到任何图像的情况下的最大经过时间，在此情况下可以将方法程序转变在块307处到例如待机状态。在块307处，待机状态可以在等待新图像的同时使计算机程序停用并且在接收到新图像时使其重新激活。当例如交通工具、监视系统、视觉系统等已经关闭时可以满足最终条件。方法可以附加地包括在第一另外的块未示出处，对由摄像机100拍摄的对应的图像的图像部分和关联的干净脏污指标执行基于上下文的滤波。此滤波可以由先前描述的基于上下文的滤波模块考虑到如关于所述模块描述的相同或类似的功能原理来执行。方法还可以附加地包括在第二另外的块未示出处，对由拍摄装置随着时间的推移而拍摄的不同图像中的图像部分的干净脏污指标执行时间滤波。此滤波可以由先前描述的时间滤波模块基于如相对于所述模块描述的相同或类似的功能细节来执行。方法可以附加地包括在第三另外的块未示出处，在像素级别下对由摄像机100通过镜头101所拍摄的对应的图像执行拉普拉斯滤波。此滤波可以由之前所描述的拉普拉斯滤波模块根据如相对于所述模块评论的相同或类似的功能要点来执行。在示例的本详细描述中公开的方法旨在确定由摄像机或类似装置拍摄的图像由于摄像机的镜头的干净或脏污而是干净的还是脏污的。然而，如在说明书的其它部分中所评论的，脏污的拍摄的图像可能由各种其它情形产生。例如，由于例如水密性不足而导致的摄像机中的水分可以负面地影响摄像机的内部元件例如拍摄传感器，这也可以在拍摄的图像上引起脏污。因此可以使用所公开的方法来确定可以在拍摄的图像上引起脏污的摄像机的任何元件诸如镜头、传感器等中上的脏污。尽管已经在本文中公开了仅若干示例，然而其它另选方案、修改、用途和或其等同物是可能的。此外，也涵盖了所描述的示例的所有可能的组合。因此，本公开的范围不应该受特定示例限制，而是应该仅通过对所附权利要求的正确阅读来确定。

权利要求：1.一种确定由拍摄装置拍摄的图像是干净的还是脏污的方法，该方法包括：接收由所述图像拍摄装置拍摄的所述图像；根据预定义分割准则将所接收到的图像分割成多个图像部分；针对所述多个图像部分中的至少一些图像部分中的每一个图像部分，执行该每一个图像部分的拉普拉斯滤波以产生包括该每一个图像部分的拉普拉斯滤波特征的特征向量；将所产生的特征向量中的至少一些中的每一个提供给第一机器学习模块，该第一机器学习模块已被训练为根据对应的特征向量来产生干净脏污指标，该干净脏污指标包括对应的图像部分的干净或脏污的概率值；根据由所述第一机器学习模块产生的所述干净脏污指标来确定所述图像是干净的还是脏污的。2.根据权利要求1所述的方法，其中，所述第一机器学习模块包括线性分类器。3.根据权利要求1和2中的任一项所述的方法，其中，确定所述图像是干净的还是脏污的包括：聚合由所述第一机器学习模块提供的所述干净脏污指标以产生所述图像的总体干净脏污指标；以及根据所述图像的所述总体干净脏污指标是否超过总体干净脏污阈值来确定所述图像是干净的还是脏污的。4.根据权利要求1至3中的任一项所述的方法，其中，确定所述图像是干净的还是脏污的包括：对由所述第一机器学习模块提供的所述干净脏污指标进行计数以确定干净部分的个数和或脏污部分的个数；以及根据所述干净部分的个数是否超过干净部分阈值并且或者所述脏污部分的个数是否超过脏污部分阈值来确定所述图像是干净的还是脏污的。5.根据权利要求1至4中的任一项所述的方法，其中，确定所述图像是干净的还是脏污的包括：将由所述第一机器学习模块产生的所述干净脏污指标提供给第二机器学习模块，该第二机器学习模块已被训练为根据图像部分的对应的干净脏污指标来产生所述图像的总体干净脏污指标；以及根据由所述第二机器学习模块产生的所述图像的所述总体干净脏污指标来确定所述图像是干净的还是脏污的。6.根据权利要求1至5中的任一项所述的方法，其中，由对应的图像部分的所述拉普拉斯滤波产生的所述拉普拉斯滤波特征包括该对应的图像部分的所述拉普拉斯滤波的峰度、均值、方差、平均灰度值和一个或更多个矩中的至少一个。7.根据权利要求1至6中的任一项所述的方法，该方法还包括对由所述拍摄装置随着时间的推移而拍摄的不同图像中的对应的图像部分的干净脏污指标执行时间滤波。8.根据权利要求7所述的方法，其中，执行所述时间滤波包括根据对应的图像部分的多个干净脏污指标确定摘要值，并且根据所述干净脏污指标与所述摘要值之间的偏差来确定一个或更多个异常值。9.根据权利要求8所述的方法，其中，所述摘要值是对应的图像部分的所述多个干净脏污指标的最大值或平均值或中值。10.根据权利要求1至9中的任一项所述的方法，该方法还包括对对应的图像作为整体执行基于上下文的滤波，所述滤波包括：确定包括邻近脏污部分的一个或更多个脏污块，其中，脏污部分是具有表示脏污的干净脏污指标的部分；检测所述一个或更多个脏污块的一个或更多个边缘；确定所述一个或更多个边缘中的锐度；以及根据所述锐度和或与所述边缘相邻的干净部分的干净脏污指标来调整所述脏污块中的所述脏污部分的干净脏污指标，其中，干净部分是具有表示干净的干净脏污指标的部分。11.根据权利要求10所述的方法，其中，调整所述脏污块中的所述图像部分的所述干净脏污指标包括：选择高于突变阈值的所述锐度并且根据表示从干净到脏污或者从脏污到干净的突变变化的所选择的锐度来调整所述干净脏污指标；以及或者确定所述相邻的干净部分的总体干净并且根据所述相邻的干净部分的所述总体干净来调整所述干净脏污指标。12.根据权利要求1至11中的任一项所述的方法，该方法还包括在像素级别下对对应的图像执行拉普拉斯滤波，所述滤波包括确定拉普拉斯卷积核并且将所述拉普拉斯卷积核应用于该对应的图像的每个像素。13.一种计算机可读存储介质，该计算机可读存储介质包括用于使计算系统执行根据权利要求1至12中的任一项的用于确定由拍摄装置拍摄的图像是干净的还是脏污的方法的程序指令。14.一种用于确定由拍摄装置拍摄的图像是干净的还是脏污的系统，该系统包括：接受器模块，该接受器模块用于接收由所述图像拍摄装置拍摄的所述图像；分割器模块，该分割器模块用于根据预定义分割准则将所接收到的图像分割成多个图像部分；滤波器模块，该滤波器模块用于针对所述多个图像部分中的至少一些图像部分中的每一个图像部分，执行该每一个图像部分的拉普拉斯滤波以产生包括该每一个图像部分的拉普拉斯滤波特征的特征向量；提供器模块，该提供器模块用于将所产生的特征向量中的至少一些中的每一个提供给第一机器学习模块，该第一机器学习模块已被训练为根据对应的特征向量来产生干净脏污指标，该干净脏污指标包括对应的图像部分的干净或脏污的概率值；状态确定器模块，该状态确定器模块用于根据由所述第一机器学习模块产生的所述干净脏污指标来确定所述图像是干净的还是脏污的。

百度查询： 法可赛阿达斯独资有限公司 确定干净或脏污的拍摄图像的方法、系统和计算机可读存储介质