去马赛克

去马赛克英语:,也写作、或)是一种数字影像处理算法,目的是从覆有滤色数组(,简称CFA)的感光组件所输出的不完全色彩采样中,重建出全彩影像。此法也称为滤色数组内插法()或色彩重建法()[1]

大多数现代数字相机使用单个复上滤色数组的感光组件来取得影像,所以去马赛克是影像处理管线()中一个必要环节,以将影像重建成一般可浏览的格式。许多数字相机也能够以原始图档保存影像,并允许用户将之取出,并使用专业影像处理软件去马赛克,而不是使用相机内置的固件处理。

目标

去马赛克算法的目标是从CFA色彩信道(Color channels)输出的不完全采样中重建出全彩影像,即重建出各像素完整的RGB三原色组合。此算法应俱备以下特点:

  • 避免错误颜色杂讯()产生,例如色彩混叠()或出现拉链状(Zippering,即邻近像素出现突兀且不自然的强度改变,有一种拉链状纹路的感觉)以及紫边()杂讯;
  • 尽量保留影像分辨率
  • 在相机内的硬件限制下,以较低计算复杂度(Computational complexity)实现快速有效的运算处理;
  • 算法易于分析,以使降噪()更精确。

滤色数组

垒在像素数组上的拜尔图案排列滤色器。每个2x2的单元包含了两个绿色,一个蓝色,以及一个红色过滤器。

滤色数组是色彩过滤器在感光组件前的一块滤色马赛克。商务上最常使用的滤色数组配置是拜尔滤色镜,如图所示。它的奇数列由红色(R)与绿色(G)过滤器交替排列组成,而偶数列则由绿色(G)与蓝色(B)过滤器交替排列组成。绿色过滤器数量是红色、蓝色的两倍,这是为了仿真人眼对绿光更高的敏感度。

因为滤色数组的色彩采样会自然地产生混叠问题,所以通常会在感光组件以及镜头的光程之间配置光学抗混叠滤波器,以便消除内插法带来的错误颜色杂讯以及色彩混叠。[2]

因为感应器上的每个像素都在滤色器后方,所以输出结果是一个像素值的矩阵,每个数值代表三种滤出颜色之一的原始强度,因此需要去马赛克算法以估算每个像素各种色彩的色阶(),而不仅仅是一种色彩的分量。

图解

要从滤色数组输出的数据中重建出全彩影像,我们可以用内插法来填补空缺。用来做影像重建的数学运算法有不同的实现,总称为去马赛克算法。

在这个范例里,我们使用Adobe Photoshop双三次内插法来仿真使用拜尔滤色镜设备(例如数字相机)的去马赛克处理。

下面这张影像仿真了拜尔滤色感光组件的输出;每个像素仅有红、绿、蓝色元素。相应的原始图档与去马赛克重建的图档并排显示于章节底部。

拜尔滤色镜 范例
红色元素 绿色元素 蓝色元素

数字相机一般会用以上方法来重建RGB影像,生成的影会像以下所示:

原始图 重建图

重建影像通常会在颜色均匀的区域表现精确,但分辨率(细节与锐度)会有一些损失,也会有边缘杂讯。例如,图像中这些字母的边缘可见明显的彩色条纹()与些许粗糙感()。

算法

单纯内插法()

单纯内插法属于均匀网格上的多变量内插法(),算法对邻近方格的相同色彩元素进行相对直接的数学运算。最简单的方法是近邻内插法(),直接拷贝同一色彩信道()的邻接像素。若要顾及影像品质,这种方法就不合适了,但它是在有限运算资源下产生影像预览的有效方法。

另外一种方式是双线性内插法,用两个或四个邻接红色像素的平均计算出非红色像素的红色数值,蓝色与绿色计算方式类似。各颜色平面独立内插是更复杂的方法,包括双三次内插法样条内插法,以及兰克索司重采样法()。

尽管这些方法在影像均匀的区域可以获得不错的结果,但使用纯色滤色数组时,影像的边缘以及细节之处容易产生严重的去马赛克杂讯 [3]。不过,线性内插与空间-光谱式(),或称全色()滤色数组结合时,可以获得非常良好的结果。[4] 去马赛克时还可对影像进行简单建模。相同区域的自然影像色彩比率应保持相同,影像传感内插法()就是利用了这点 [5]

影像里的像素相关性()

更成熟的去马赛克算法利用色彩影像中像素的空间、光谱关联[6]。空间相关是指像素在影像的小块匀质区内的色彩值往往相似。光谱相关则是指在小块影像里不同色彩平面像素值之间的依赖性。

这种算法包括:

  • 可变量目梯度()[7]: 此内插法计算相关像素周围的梯度,使用较低的梯度(表示影像更均匀且更类似的部份)来估计。第一版dcraw软件中就有使用,但会有色彩杂讯的困扰。
  • 像素群聚()[8]: 使用有关自然景像的假设来估计。与可变量目梯度算法相比较,它在自然影像上色彩杂讯。第8.71版的dcraw引进了这个方法,称为做图案化像素群聚()。
  • 自适应均匀定向():此内插法能选择内插的方向,以最大化同质标准(),因此一般情况下能够最小化色彩杂讯[9]。它已被建置在dcraw的最近版本里[10]

动态影像超分辨率(Video super-resolution)/ 去马赛克

已有数据显示,超分辨率(Super-resolution)与去马赛克是一个相同问题的两个面向,而用统一的内容将它们一起提出来说明是很合理的。[11]记住,这两个问题会带出混叠的问题。因此,特别是在动态影像(多重画格)的重建案例中,这种结合超分辨率与去马赛克的方法提供了最佳解决方案。

取舍

举例来说,某些方法可能对自然场景有较好的结果,而某些则对印刷物有较佳的显现。这反应了估计不能准确感知的像素所面临的内在问题。当然,还有常见的估算速度与估算品质之间的取舍。

电脑影像处理软件的使用

数字相机取出原始图档后,可以使用专门的电脑软件来选择不同的去马赛克算法处理,以取代相机内写死而无法再更替的算法。一些原始图档处理程序,例如RawTherapee,让用户选取想要使用的算法,不过大多数图像处理程序已设置成使用一种特定的算法来处理原始图档。各个摄影师处理的原始图档细节和纹理的差异,主要来自于选择不同的去马赛克算法;通常摄影师会以自己的审美观使用自己所偏好的应用程序。

另外,由去马赛克所产生的色彩杂讯可以为辨识伪造图片()提供重要线索[12]

相关文章

参考数据

  1. Boris Ajdin; Matthias B. Hullin, Christian Fuchs, Hans-Peter Seidel, Hendrik P. A. Lensch MPI Informatik. (PDF). Saarbrucken Germany. [2016-04-26]. (原始内容 (PDF)存档于2016-05-09).
  2. Adrian Davies 与 Phil Fennessy. Fourth. Focal Press. 2001. ISBN 0-240-51590-0.
  3. Lanlan Chang 与 Yap-Peng Tan. (PDF): 2. [2016-04-26]. (原始内容 (PDF)存档于2009-12-29).
  4. Keigo Hirakawa 与 Patrick J. Wolfe. (PDF). [2016-04-26]. (原始内容 (PDF)存档于2011-07-20).
  5. R. Kimmel. 去马赛克: 从彩色CCD范例做影像重建 页面存档备份,存于。 IEEE Trans. on Image Processing, 8(9):1221–8, Sept. 1999.
  6. Lanlan Chang 与 Yap-Peng Tan. (PDF). [2016-04-26]. (原始内容 (PDF)存档于2009-12-29).
  7. Ting Chen. . [2016-04-27]. (原始内容存档于2012-04-22).
  8. Chuan-kai Lin, Portland State University. . 2004 [2016-04-27]. (原始内容存档于2016-09-23).
  9. Kiego Hirakawa; Thomas W. Parks. (PDF). [2016-04-27]. (原始内容存档 (PDF)于2021-02-24).
  10. 在Linux解码原始数字相片的图档 页面存档备份,存于, Dave Coffin.
  11. Sina Farsiu, Michael Elad, Peyman Milanfar. (PDF). IEEE Trans. on Image Processing. 2006, 15 (1): 141–159 [2016-04-27]. doi:10.1109/TIP.2005.860336. (原始内容存档 (PDF)于2009-12-29).
  12. YiZhen Huang 与 YangJing Long. (PDF). Proc. IEEE Conference on Computer Vision and Pattern Recognition. 2008: 1–8 [2016-04-28]. (原始内容 (PDF)存档于2010-06-17).

备注

    延伸阅读

    This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.