基于超分辨率重建的视频图像压缩方法的研究 第9页
    多帧频域抑制混叠算法虽然能够充分利用多帧图像的信息，从而解开频率混
叠，提高图像的空『nJ分辨率，但是如果要求输出图像的点阵是输入图像的￡倍，则
输入图像至少需要2×￡帧，如￡=2，则至少需要4帧图像，爿‘呵能利用此方法
提高图像的分辨率，而这在很多情况下，是很难达到的，另外，此算法虽然计算
简单，但是模型没有考虑光学系统的点扩散函数PSF、运动模糊和观测噪声的影响，
而且由于模型建立在整体平移的基础上，缺少灵活性，从而限制了在大多数实际
情况下频率域方法的适用性。
    Kaltenbacher和Hardie于1996年在’rsa．i和Huang算法的基础上提出了另
一种估计帧问整体平移参数的解算方法[44]，该方法的主要创新是在提高计算效率
方面计算整体平移方面有重大进步。Kim等先后引入噪声与模糊等问题，使该算法
逐渐趋于完善【。。4刚。
    频率域方法的缺点是只能处理空『白J位移不变的模糊，同时要求噪声是加性齐
次的，并且对低分辨率图像的选取有比较严格的规定，即对一组低分辨率的输入
图像的选取有严格的约束，所以实际应用中很难满足。
    3)空域法
    图像超分辨率重建技术在空域中的方法主要包括非均匀采样内插法
(Interpolation of Norl—Uniformly Spaced Samples)、迭代反投影法(IBP：
Iteration Back—Pro．jection)、集合论方法(如凸集投影法，即。POCS：
Pr0．jectionont0 Convex Set)、统计复原法(最大后验概率估计MAP：Maximum
APosteriori Probabilitv Estimate干口最大似然估计ML：Maximum Likeli}IOO(1)、
混合MAP／POCS法，自适应滤波法等【47]。
    非均匀采样内插法是后来出现的比较新的一种图像超分辨率重建算法，它首
先由序列低分辨率图像通过图像配准算法配准产生一帧具有非均匀采样特性的复
合图像，然后采用非均匀采样的图像超分辨率重建技术得到高分辨率图像。Keren、
Peleg和Brada提出了一种整体平移和旋转的重建模型，但内插过程过于简单[48]；
文献㈣也给出了相关方法；Sauer等提出了一种由非均匀空问采样值来重建带限图
像的交互方法，此方法基于投影法去估算一个均匀空叫网格上的图像亮度15 UJ；
第2章视频图像压缩技术及超分辨率重建技术的概要
Komatsu等提出了非均匀采样理论，将非均匀空问采样值转换到一个单独的均匀采
样网格上…；Ur等证实了在非均匀插入后需要图像复原的步骤[52]，但没有提出抑
制频谱混叠问题。
    IBP方法最早是由Peleg在1993年提出的俐，它首先通过某种方式求出高分
辨率图像的估计值作为初始值，然后通过已知的成像过程退化得到序列低分辨图
像，再把得到的序列低分辨率图像与已知的低分辨率图像相比较，采用迭代的方
式直到两者的误差满足要求为止，在迭代过程中需要不断更新高分辨率图像的估
计值和由其退化得到的序列低分辨率图像，直到误差满足要求为止所得到的高分
辨率图像就是所要求的解。IBP方法通过观测方程使超分辨率处理图像与观测数据
相匹配，但它的收敛性被证明仅适用于仿射几何畸变的情况，而且解经常不是唯
一的。在改善图像超分辨率重建效果方面受到一定的限制[54】。
    Patti所提出的PO(：S方法是解决超分辨图像重建问题的一类常用算法【。引。
POCS认为超分辨率图像解空『自J与一组凸形约束集合相交叉，而这组凸形约束集合
代表了期望的超分辨率图像的一些特性，如__F定、能量有界、数据可靠和平滑等，
通过这些约束集合就可以得到简化的解空『白J，同时引入幅度边界的限制，导出了
未知图像的迭代公式。总之，POCS是一种迭代过程，在给定超分辨率图像空问中
任意一点的前提下，可以定位一个能满足所有凸形约束集合条件的收敛解。该方
法的优点是：可以方便地加入物体的先验信息，也可以很好地保持高分辨率图像
的边缘和细节；但其缺点是：解不唯一，算法收敛速度慢且稳定性不好，解依赖
于初始估计，计算量大，难以实施快速算法，致使这个算法实时性差，难以广泛
应用，主要应用于医学图像处理。
    最大后验概率估价方法MAP将超分辨率图像视为一个复杂的最优化问题的
MAF’解，使用先验平滑假设来减少不连续测量的影响，它把低分辨率观测图像y和
要重构的高分辨率图像z都看作是随机场，在已知Y的条件概率密度p(y J z)和z
的先验概率p(z)情况下，依据贝叶斯准则，通过最大化后验概率函数p(z f y)，得
到对高分辨率图像z的估计，就是在已知低分辨率视频序列的前提下，使出现高
分辨率图像的后验概率达到最大。这种算法的收敛稳定性取决于先验概率，先验
基于超分辨率重建的视频图像压缩方法的研究 第9页
概率模型应该具有下面三个特点：局部平滑、凸函数和具有边缘保持能力。其优
点是在解中可以直接加入先验约束，能确保解的存在和唯一、抗噪能力强和收敛
稳定性高，适用于非线性和线性成像模型，可同时实现运动估计和增强；缺点是
收敛慢和运算量大，收敛稳定性与先验概率有关，细节容易被平滑掉，边缘保持
能力不如POCS。Rajan D和Subhasis Chaudhuri把高分辨率图像模型化为马尔科
夫(Markov)随机场，要求代价函数是凸的，以及理想图像的先验概率p(z)满足
Gibbs分布。
2．3．2超分辨率重建中的图像配准技术
    超分辨率重建中图像配准技术是对由于上述某一种原因或者多种原因造成的
同一场景中的两帧或多帧帧问存在非冗余信息的图像进行匹配的过程，它能够建
立两帧图像像素坐标系的关系。图像配准技术可以看成特征空『日J、搜索空问、搜
索策略和相似度测量四方面的组合。
    特征空I刨指从图像中提取出来的用来匹配的信息，搜索空间指用来校准图像
的图像变换集，搜索策略决定如何在搜索空间中选择下一个变换以及如何测试并
搜索出最佳变化，相似度测量决定每一个配准的测试中的相关特性。衡量配准算
法的指标有图像帧f白J非冗余信息的平方和最小，其标准相关系数最大以及帧『白J相
关像素共有信息量最大等。
    概括起来，图像配准算法有下面几种分类方式：
    从所利用的图像信息来分，配准算法主要包括基于点的配准方法和基于面的
配准方法。其中，基于点的配准方法主要包括确定不同图像相关点坐标，和利用
这些相关点估计几何变换；基于面的配准方法则包括，确定不同图像的相关面，
和利用这些相关结构估计几何变换。
    基于点的配准方法已经发展较为成熟，应用十分广泛，可是由于此方法需要
大量人工干预，因此配准精度受此影响较大；而基于而的配准方法从理论上束晚
可以达到较高的配准精度，迭代搜索也容易收敛于局部极值点，可是此方法的计
算量较大，耗时比较严重。
    根据所使用的方法来分，图像配准算法可以分为基于图像特征的配准方法、
第2章视频图像压缩技术及超分辨率重建技术的概要
基于图像几何变换的配准方法和基于图像搜索策略的配准方法。
    基于图像特征的配准方法的目的是通过配准两帧图像，来确定其不同属性，
图像特征是决定每类图像使用哪种配准方法进行配准的关键，可是对于某些图像
来讲，图像特征很难进行选择，因此图像配准的精度和空问坐标的初始选择息息
相关；典型的图像几何变换有刚体变换、仿射变换、投影变换和非线性变换等；
基于图像几何变换的配准方法就是假设图像之『白J存在上述变换，然后利用某些理
论进行配准参数的估计；基于图像搜索策略的配准方法为给出一组特征和某参数
化的变形，由优化标准和优化算法定义搜索策略，例如运用把最小二乘准则和原
几何体相结合的方法进行配准估计，优化算法的确定主要取决于优化标准的选择。
2．3．3图像超分辨率重建技术发展趋势
    超分辨率图像重建技术受到三个关键因素的影响：首先是子像素位移信息的
可靠性，由于不可靠的图像配准(运动估计)造成的影响比缺少运动信息更大，
所以图像配准十分重要；其次是退化模型的精确性，观察模型必须能准确地对成
像系统及其退化进行描述；最后是图像重建算法必须尽可能包含先验信息。因此
未来研究和发展的方向主要集中在以下几个方面：
    精确的图像配准算法。在图像超分辨率重建技术进行过程中，需要对低分辨
率图像序列进行亚像素精度的配准，而由于图像配准算法只能利用低分辨率图像
序列上的信息，所以很难达到比较精确的配准精度，同时配准算法又是整个超分
辨率图像重建技术中十分重要的环节，虽然目前已经研究出了许多配准方法，这
些方法也许已经发展成熟，但在实际应用中仍然无法获得令人满意的运动补偿效
果，同时这些运动估计方法的适用场合也是非常有限的。因此需要寻求一种更为
可行的方法，这有可能同时提高配准精度和重建算法的效果，提高其精度和拓宽
其适用的范围。
    精确的退化模型。图像超分辨率重建技术的成功依赖于准确的、符合实际成
像系统特性和成像过程的退化模型，但是要想获得符合实际成像过程的退化模型
是十分困难，所以实际应用中通常采用简单、确定的退化模型进行近似，这种模
型与实际成像过程差距很大，因此寻求更加精确的退化模型应该是一个十分重要

上一页  [1] [2] [3] [4] [5] [6] [7] [8] [9] [10]  ... 下一页  >>