基于超分辨率重建的视频图像压缩方法的研究 第3页
第1章绪论
1．1数字图像压缩的必要性与可行性
1．1．1数字图像压缩的必要性
    “百闻不如一见”，图像信息具有直观、形象、易懂和信息量大等特点，是人
类最丰富的视觉信息来源。图像可以按照其内容的运动状态分成静止图像和活动
图像两大类。活动图像又称运动图像，沿用电视技术的术语，一般称其为视频。
人类通过接受信息感知外部世界，据统计其中约有60％一70％的信息是通过视觉系统
获取的。随着现代图像和多媒体通信业务的发展，特别是电信网、互联网和广播
电视网的逐步融合，以及移动通信的要求都使得图像和视频信号的数字化成为必
然，而且基于计算机技术的多媒体制作也首先要实现数字化才可能进行。进入信
息时代，人们越来越多地借助数字技术和计算机技术来获取和利用图像信息。数
字化后的视频图像信息，它具有许多模拟信号所不具有的优点，诸如传输质量高，
经过多次中继而不引起噪声积累，不受传输系统非线性的影响，易于借助计算机
技术进行处理、存储、分配和管理等等。但是任何事物都有两面性，数字图像在
提供诸多优点的同时也带来了一些问题，其中最突出的就是数据量的巨大，这与
当前计算机硬件的存储资源和网络宽带之间永远存在巨大的差距，使图像信息的
存储和传输成为人们有效获取和利用这些信息的一个瓶颈问题，从而数字视频图
像信息数据的压缩编码技术成为非常重要的技术。
    按照CCIR(国际无线电咨询委员会)1982年制定的演播室数字电视编码参数，
对于标准清晰度彩色电视的亮度分量Y和色度分量R—Y、B—Y的取样频率分别为
13．5Mrlz、6．75M[1z、6．75Mtlz，每个取样均匀量化为8比特，所以在节目制作过程
中，一路标准清晰度彩色电视节目的码率为(13．5+6．75+6．75)×8=216Mb／s，
相对于演播室节目制作，用于节目传输的码率可以适当降低一些。按照CcIR一601
建议(1986)的标准清晰度数字电视的传输标准，每帧像素数为720×576；帧频
为25[{z，隔行扫描；色度信号取样格式为4：2：0(色度分量R—Y／B—Y的取样频率
在水平和垂直两个方向均是亮度分量’Y取样频率的一半)：量化为8比特／取样。
第1章绪论
此时的码率为。720×576×25×(1+0．25+0．25)×8=124．416Mb／s。一个容量为
640MB的CD—ROM光盘只能存放约40s的这样标准清晰度数字电视节目。而一路高
清晰度电视的码率高达1(：b／s以上。DVI)播放机使用的DVD—ROM光盘虽有／1．7GB的
容量，也只能存储不到40s的}tDTV(High Definision TV)节目。
    从以上实例可以看出，对数字视频的数据压缩势在必行。
1．1．2数字图像压缩的可行性
    图像信号可以压缩的原因有两个方面，一方面是图像信号中存在大量冗余度
可供压缩，并且这种冗余度在解码后还可无失真地恢复；另一方面是可以利用人
的视觉特性，在不被主观视觉察觉的容限内，通过减少信号的精度，以一定的客
观失真来换取数据压缩。
    图像信号的冗余度存在于结构和统计两个方面。图像信号结构上的冗余度表
现为很强的空『白J(帧内的)和时间(帧『白J的)相关性。统计测量证实，电视信号
在相邻像素问，相邻行I'白J，相邻帧问存在着这种强相关性，一般情况下，视频画
面中的大部分区域信号变化缓慢，尤其是背景部分几乎不变。电视信号占用6Mt{z
带宽，是为了表示画面中突变的轮廓，占画面比例不高的纹理细节以及快速的运
动。在大部分时问内，电视信号所含的空间和时问频率成分不高。图像信号统计
上的冗余度来源于被编码信号概率密度分布的不均匀，对这种不均匀的概率分布
采用变字长编码压缩码率极为有利，因为在编码时可以对出现概率高的信号用短
码，对出现概率低的信号用长码，则总的平均码长要比用固定码长编码短很多。
    充分利用人的视觉特性是实现图像信号码率压缩的又一重要途径。人眼对图
像的细节(空问)分辨率，运动(时间)分辨率和灰度(对比度)分辨率的要求
都有一定的限度。对于图像信号在空问、时间以及幅度方面进行数字化的精细程
度只要达到这个限度即可，超出是毫无意义的。同时对视觉心理学和视觉生理学
的研究也表明，人眼对图像细节、运动和灰度三方面的分辨能力是互相制约的。
当人眼对图像的某种分辨率要求很高时，对其他方面的分辨率则会降低要求。视
频图像信息数据的数字压缩编码技术，最早可追溯到1948年01ive突出的电视信
号的PCM编码，从此丌始了图像技术的数字时代。但是由于模拟图像经量化而得
基于超分辨率重建的视频图像压缩方法的研究 第3页
到的数字图像数据量极大，故这种方法不能在实际中广泛应用。研究视频图像数
据可以发现其中存在大量的冗余，减少图像的冗余度就可以极大地减少图像的数
据量，而视频图像数据的冗余主要存在以下几个方面：
    (1)空『白J冗余度。一幅图像记录的同一景物表面上各数字采样点的颜色问往
往存在着空问连贯性，通过改变物体表面颜色的像素存储方式来利用空问连贯性，
达到减少数据量的目的。
    (2)时问冗余度。序列图像为位于一时『白J轴区『白J内的一组连续画面，其中的
相邻帧往往包含相同的背景和移动物体，只不过移动物体所在的空『白J位置略有不
同。所以前后帧的数据问存在极大的相关性。
    除此之外，还存在着信息熵冗余、视觉冗余、结构冗余、纹理统计冗余等等。
图像本身存在冗余度，序列图像在时域上有着更大的冗余度，这就使视频图像的
压缩成为可能。经典的图像编码理论依据的是Shannon的信息论【l-2】，按有无失真
可分为信息保持型和信息率失真编码，并且找出了编码率与失真率的关系。以
Shannon的编码理论为指导的经典的编码方法，充分利用图像空域时域的相关性进
行压缩编码，主要是正交变换编码和预测编码两种方法，常见的有：DPCM编码、
KLT和DCT变换编码、亚取样内插方法、矢量量化、塔型编码、小波变换等。统计
编码利用图像数据的分布特性，对于出现频率高的符号用减少的位数来表示，而
出现频率低的符号用较多的位数来表示，其效率取决于数据的概率分布，概率越
集中则压缩比越高，常见有Huffman编码、算数编码、游程编码。
    Kun提出的第二代图像编码在理论上没有突破信息论原有的框架【3】，但是使人
们认识到充分利用视觉特性的重要性。第二代编码也称为结构编码，首先将图像
中的边界、轮廓、纹理等结构特征求出来，然后保存这些参数，解码时根据结构
和参数信息进行合成，从而恢复原图像。
    近年来，除了以上方法的不断发展之外，还发展了一些新型的编码方法，如：
模型基编码、形状编码、分形编码、神经网络图像压缩、小波图像压缩等多种方
法。
第1章绪论
1．2超分辨率重建技术用于视频图像压缩的可行性
    视频图像的超分辨率恢复技术是利用各帧低分辨率图像提供的不完全相同的
信息来提高图像的空『HJ分辨率，就是由多帧低分辨率降质图像恢复成单帧或多帧
高分辨率清晰图像。在现实生活中，由于成像设备、数据压缩、传输差错等原因，
人们获得的图像往往不能满足人们对更高分辨率的需求，因此图像超分辨率重建
是必要的。
    从Tsai和Huang首次提出超分辨率重建的概念起，该技术的研究经历了两个
重要的发展阶段。第一阶段的研究对象为未压缩的图像和视频，集中在空『白J域内
进行分辨率增强处理，包括非均匀内插法…¨、反向投影法[12．’列、贝叶斯法[16-。。]
以及凸集投影法【。。珊】。然而，实际遇到的多数图像和视频是以压缩码形式存在的，
如MPEG[。。一。刚、H．26x[。。一。纠、JPEG[33]、Motion—JPEG[。。’等。因此，第二阶段的研究重
点为压缩后的图像和视频。
    如果直接将超分辨率重建方法用于压缩对象，其重建的实际效果并不令人满
意，这是因为压缩过程对于图像和视频造成了新的降质，而传统空间域的算法模
型没有考虑这一点。另外，视频压缩方法将图像表现为一系列的运动矢量(MV)
和变换系数，其可用信息的表示方法也与传统未压缩视频不同。
    本文提出一种直观的重建思想：先将压缩视频解压，再利用视频图像的超分
辨率重建算法把解压后得到的低分辨率图像序列恢复成原始高分辨率图像序列。
实验表明，此思路可行，可以有效地提高视频图像压缩率，得到基本满意的图像
恢复效果。所以，超分辨率重建技术可用于图像压缩，在传输端，对原始高分辨
率视频序列进行降质采样，对采样后的低分辨率图像序列进行压缩；在接收端，
当有不同需要时，对解压缩后的低分辨率图像序列，再利用超分辨率重建技术获
得不同分辨率的图像和视频。所以将超分辨率重建技术应用到图像压缩是可行的，
在提高压缩率的基础上还可以得到较高分辨率质量的图像。
1．3图像质量评价方法
    随着众多图像压缩算法的出现，如何评价图像压缩算法就成为重要的课题。

上一页  [1] [2] [3] [4] [5] [6] [7] [8] [9] [10]  ... 下一页  >>