关于图像超分辨率重构的现状研究
摘 要：图像超分辨率的重构技术是近20年来兴起的一门新的数字图像处理技术。随着计算机硬件技术和软件设计技术的不断发展,各种图像超分辨率重构算法被提出。综述超分辨率重构的相关研究,指出图像超分辨率重构技术近几年来的一些研究成果。
关键字：图像超分辨率；图像超分辨率重构；迭代法投影法
Abstract:Image super-resolution reconstruction technology is nearly 20 years the rise of a new digital image processing technology. With the continuous development of computer hardware and software design technology, all kinds of image super-resolution reconstruction algorithm was proposed. Of related studies on super-resolution reconstruction, and points out that the technology of image super-resolution reconstruction in recent years, some of the research.
Keywords:image super-resolution; image super-resolution reconstruction; iterative projection method
1 引言
超分辨率重构算法始于20世纪80年代,其目的在于恢复一些已丢失的频率分量。在成像过程中,由于受成像系统的物理性质和天气条件的影响,图像中存在着光学和运动模糊、 采样不足和附加噪声等退化现象,图像空间分辨率较低。而在实际应用中,需要高分辨率的图像,如在遥感检测、军事侦查、交通及安全监控、医学诊断和模式识别等方面。在现有的传感器不作改变的情况下,人们希望利用信号处理的方法,通过一系列低分辨率图像来重构高
分辨率图像。这种从同一场景的低分辨率图像序列中,通过信息融合来提高空间分辨率的方法通常被称为超分辨率重构。
超分辨率图像需要获得同一场景的图像序列,并且序列中各帧图像间存在像素平移和旋转,使各帧图像能包含了不同的观察角度的同一场景互补信息。这样重构后的图像包含各帧图像提供的信息, 并且分辨率要高于各输入图像的分辨率。
2 图像超分辨率重构的概述
超分辨率影像重构技术于60年代有Hamm和goodman最初以单张影像复原的概念和方法提出，随后许多人对其进行了研究，并相继提出了各种复原方法，虽然这些方法都做出了较好的仿真结果，但并没有在实际中得到广泛的应用。在90年代初，随着计算机技术、电子技术以及信号处理理论与技术特别是小波理论、自适应滤波理论以及一些优化理论的发展，人们在超分辨影像重构方法研究上取得了突破性的进展，其应用已经渗透到航天航空遥感，医学计算机成像的分析，目标识别、监视系统成像等诸多领域。
从目前的研究和应用成果来看，人们提出了很多图像超分辨率的算法。这些算法按照可以获得的低分辨率图像的数量可以分为两类：①序列图像的高分辨率估计：组合同一场景的多幅低分辨率图像以获得一副高分辨率图像的过程；②单幅图像的高分辨率估计：由一副低分辨率图像得到一副高分辨率图像的过程。另外序列图像超分辨算法也可以分为空间域方法和频域方法。早期的研究工作主要集中在频域进行，但随着更一般的退化模型的考虑，后期的研究工作几乎都集中在空间域进行。频域方法是在频域上消除频谱混叠,改善空间分辨率;空间域方法是在图像像素的尺度上,通过对图像像素点的变换、约束而改善图像质量的方法。
2 共8页
3 图像超分辨率研究的主要方法
3．1 频域方法
频率域方法是图像超分辨率中的一类重要方法。目前比较流行的是能量连续降减法和消混叠重构方法。消混叠重构方法是通过解混叠而改善影像的空间分辨率实现超分辨率。中国科学院遥感应用研究所从分辨率低的欠采样图像会导致相应空间频率域频谱混叠的理论出发,给出了多次欠采样图像在频率域混叠的更一般的公式,并给出一种针对不同分辨率图像解频谱混叠的逐行迭代方法,该方法在有噪声的情况下也具有很好的收敛性,取得了很好的效果。
频率域成像模型针对的理想图像是连续的,对于成像过程的描述更加精确求解精度和抗噪声能力都要较空间域模型好,有助于问题更加精确的描述和求解,这是频率域方法研究的意义所在。图1为频率域重构过程。
图 1 频域重构高分辨率图像过程
3.2空间域方法
3.2.1迭代反投影法(Iterative Back Projection, IBP)
3 共8页
在图像处理领域“估计—模拟—比较—修正”模式的迭代方法应用十分广泛,Peleg等人用模拟采样方法,采用类似层析成像中的反投影的方法进行重构高空间分辨率图像,他们所用的迭代式为：
f( n)表示 n 次迭代的结果; g 为p 帧低分辨率图像的采样点;hPSF图像模糊系统的点扩散函数; hBP反投影滤波函数; c为(常数)归一化因子;*表示空间卷积。IBP法适用于线性和非线性成像模型,收敛速度较快,是一种特殊的POCS法。
迭代法反投影法是空域方法中具有性的方法之一，其原理主要是要求超分辨率图像与观数据匹配(通过观测模型)。然而,由于图像超分辨率是一个病态求逆问题。因此，IBP方法的解通常也是不唯一的，该算法的收敛性要求帧间变化是仿射变换。此外,IBP方法也很难引入先验知识。
3.2.2凸集投影法( POCS)
凸集投影方法的优点是可以方便地加入先验信息, 可以很好地保持高分辨率图像上的边缘和细节;缺点是解不唯一、 解依赖于初始估计、 收敛慢、 运算量大和收敛稳定性不高等。为了提高凸集投影方法的收敛稳定性, 可以采用松弛投影算子, 但松弛投影算子不利于保持图像的边缘和细节。
3.2.3贝叶斯分析法
贝叶斯分析法包括最大后验概率估计法( MAP)和最大似然估计法( ML) , 最大后验概
4 共8页
率估计方法的优点是在解中可以直接加入先验约束、 能确保解的存在和唯一、 降噪能力强和收敛稳定性高等。缺点是收敛慢和运算量大。另外, 最大后验概率估计方法的边缘保持能力不如凸集投影方法, 由这类方法获得的高分辨率图像上的细节容易被平滑掉。
3.3 运动估计方法
图像超分辨率重构需要知道不同图像所对应的像素之间的亚像素位移量,这是实现超分辨率的前提。在一些成像系统中,可以通过硬件控制的方法得到序列影像之间的位移量。例如 SPOT5 卫星的HRG( High resolution geometric) 成像仪在焦平面内放置两个 12000 个单元的线性阵列, 两个阵列在水平和垂直方向分别错开 0. 5 像素并单独成像, 获取两幅相互错位的分辨率为 5m 的图像, 然后通过超分辨率重构技术可以得到一幅分辨率为 2. 5m 的高分辨率图像( 实际分辨率在 2. 5~ 3m 之间) , 其像元排列如图 2所
示。
然而在很多实际应用过程中, 如视频图像的超分辨率重构, 图像之间位移量并不能事先知道,需要对其进行数值求解。求解两幅图像上各目标或像素之间位移矢量的过程称为运动估计。高精度的运动估计, 有助于更加充分地利用图像之间的互补信息, 从而提高后续超分
辨率重构的精度, 它是整个超分辨率重构过程中的关键步骤之一。在计算机视觉领域, 学者们已经发展了多种运动估计方法。其中, 在图像超分辨率重构中常用的方法有全局运动估计方法、 块匹配运动估计方法、 光流运动估计方法和最大后验估计方法。此外, 运动估计与超分辨率重构联合求解的方法也被广泛的采用。
5 共8页
图 2 HRG 像元排列
4 基于插值的超分辨率重构
一般的单帧插值技术通常仅能增大图像幅面，而没有增加或很少增加额外的高频信息，且放大图像的边缘不连续、有震铃效应或整体偏光滑。引入图像先验的改进插值系列算法较纯粹插值能恢复相对更多的高频信息，图像质量较易接受。以图像边缘指导或面向边缘的插值是一大类方法。Li等人的NEDI（Newdge-directed interpolation）算法据边缘方向的协方差来估计HR像点。边缘的内外像素分类处理，最后分辨率综合，较好地保持了边缘连续性。直接以LR图像为小波域的粗尺度而插值高频分量，小波反变换实现直接放大。能量扩散正则项约束的偏微分方程PDE（Partial differential equation）插值放大，以及小波与PDE 结合的插值重构均实现了边缘较为规整的图像SRR。Dai通过Alpha-matting 模型获得局部图像块的最大后验概率MAP（Maximum a posterioriprobability）分解，用分解的前后向描述子实现本不连续的锐利边缘重构。稍后，Wang 等人提出了利用特定的空间滤波器重构不连续的边缘，采用级联分量法来加速描述子分解，实现了准实时的图像 SRR。Sun 等人采用局部结构的图像梯度框架先验正则化，实现了单帧图像 SRR。
5 图像超分辨率的发展前景
图像超分辨率在视频、 遥感、 医学和安全监控等领域具都有十分重要的应用, 另外
6 共8页
其应用也逐步涉及到其它各个领域。在高清数字电视方面采用超分辨率技术会进一步减少成本, 提高画面的质量。超分辨率技术在采集军事与气象遥感图像应用可实现高于系统分辨率的图像观测。在医学成像系统中( 如 CT、 MRI 和超声波仪器等) , 可以用图像超分辨率技术来提高图像质量, 对病变目标进行仔细的检测。在银行、 证券等部门的安全监控系统中, 当有异常情况发生后。可对监控录像进行超分辨率重建,提高图像要害部分的分辨率, 从而为事件的处理提供重要的线索。在未来超分辨技术广泛的应用前景必然会推动这一技术不断发展。
为了获得高质量的高分辨率的图像, 满足不同情况下的实际应用要求, 未来的发展主要集中在以下几个方面:
(1) 精确有效的运动估计算法。图像的运动变形、 模糊和噪声等降质因素具有密切的关系, 在图像超分辨率增强中, 需要对图像序列进行亚像素精度的运动估计。由于运动估计只能利用低分辨率序列上的信息, 所以很难达到精确的运动估计。虽然目前已经有很多比较成熟的运动估计方法, 但在实际应用场合仍然无法获得令人满意的运动补偿效果, 同时这些方法的适用场合非常有限, 需要发展和寻求新的运动模型, 对运动进行精确估计。
( 2) 针对视频压缩格式和编解码技术, 在图像超分辨率算法中综合考虑成像模型和压缩算法带来的图像污染效果, 以及运动补偿和编码传输机制, 提高压缩视频的超分辨率能力。
( 3) 完善现有算法, 不断发展新的算法。目前的很多图像超分辨率算法在一定程度上解决了实际应用中存在的问题, 但这些方法仍然存在着较大的缺陷和不足。所以在超分辨率算法方面, 还需要进一步提高超分辨率图像增强的能力, 减小计算量, 加快运算的收敛速度,适用于不同的图像要求。
7 共8页
( 4) 在应用范围上将不局限于单色和单张高分辨率图像的恢复, 还要扩展到多通道和彩色图像、 三维立体成像、 动态多媒体序列、 压缩图像、 CCD 阵列成像和核磁共振成像的超分辨率恢复与增强。
( 5) 提高算法的效率, 目前已有的超分辨率算法很多, 不少算法的效果还是不错的, 但由于算法复杂度高, 运算量大, 因此实用性不强。
( 6) 盲重建。很多算法都假设模糊函数( PSF函数) 已知, 但是在实际中, 准确的估计 PSF 函数有一定的困难, 通常都只能知道 PSF 函数的部分信息,因此, 盲重建也是一个重要的研究方向。
6 结束语
随着图像超分辨率技术的进一步发展必将导致这一技术拓宽到一些新的应用领域, 图像超分辨率技术更广泛地应用会进一步加快该技术的发展。此外, 超分辨率技术的理论研究结果还可为未来我国新型传感器的硬件设计与实现提供理论指导与参考, 图像超分辨率技术会有更广阔的前景。
参考文献:
[1] 孙即祥,数字图象处理[M].科学出版社,2009(6).
[2] 袁小华,欧阳晓丽,夏德深.超分辨率图像恢复研究综述[J].地理与地理信息学,May. 2012,22(3).
[3] 苏秉华,金伟其.超分辨率影像复原及其进展[J].光学技术,2010,21(7):6-9.
8 共8页
[4] Mohiy M Hadhoud,Fathi E Abd EI -Samil, Said E EI -Khamy. NewTrends in High Resolution Image Processing[C].Fellow.IEEE.National institute of laser enhanced sciences.
[5] Wa-i San Chan, Edmund Y Lam,Michael K Ng.Investigation ofCmputational Compound-
eye
Imaging
System
with
Super-resolutionReconstruction[C].IEEE.ICASSP.2006.
[6] Irani M,Peleg S.Improving resolution by image registration[J].GVGIP:Graph. Models and Image Processing,2009.53(3):231~239.
[7] C Latry,B Rouge.Super resolution:Quincunx sampling and fu -sion processing[A]. presented at International Geoscience and Re-mote Sensing Symposium( IGARSS )[C] . T oulouse,France,2008.
[8] 路锦正，基于稀疏表示的图像超分辨率重构技术研究[J].信号与信息处理，2013,2（5）.
9 共8页
