随着数字图像不断增加的广泛应用、分辨率的不断增大和新的图像表示形式的出现,图像信号的数据量正在变得越来越大,对更高效的图像编码的要求也不断增加。作为图像编码中重要的核心部分,变换对提高图像编码的效率有着重要的影响。在而在当今广泛应用的图像编码系统里,变换部分却因为缺乏相应的自适应性而没有发挥出更高的效率。本论文重点研究图像信号变换的结构自适应性和方向自适应性,来构造全新的面向图像编码的变换,以更好的提高图像编码的效率。我们首先在逐块编码的框架下,回顾了传统的块内变换和块间预测,并提出了帧内预测变换的表示形式来统一这两种减少信号冗余的方法。这种统一的形式赋予了帧内预测变换既能利用块内相关性也能利用块间相关性的能力。我们在理论上推导出了帧内预测变换对静态信号的编码增益的上界,从而在理论上显示了帧内预测变换相对于传统变换更好的编码能力。我们还构造出了能达到推导出来的编码增益上界的最优帧内预测变换,所以推导出来的上界是上确界。另一方面,帧内预测变换这种新的表示形式也给我们设计新的变换提供了一个全新的角度。利用帧内预测变换的框架,我们给出了利用频域预测来设计的一个帧内预测变换,相比现有的频域预测方法,它的预测距离更短,从而也更有效。实际的编码结果也验证了新构造出来的帧内预测变换的有效性。基于帧内预测变换的表示形式和理论,我们还分析了不同的编码结构对编码性能的影响。我们特别针对基于点、线和块的编码结构进行了分析。理论分析的结果表明基于点和线的编码结构在高码率下都可以达到基于块的编码结构的编码增益的上限,更进一步,我们还证明了任意的结构都可以有此结果。这个结论也提示我们现有主流编码系统中基于块的编码结构不一定是最优的。我们进一步深入分析了基于点、线和块的编码结构在中低码率和实际编码时的优缺点,结论是基于块的编码结构更适合低码率编码而基于点和线的编码结构却有更好的自适应性和灵活度。基于以上的分析,我们设计了基于点和线的高效图像编码方案,实验结果表明,即使是与最先进的基于块的编码方案相比,我们提出的基于点和线的图像编码方案也有相当的编码效率,并且在高码率下做的更好。我们进一步提出了基于点、线和块的混合编码方案来充分利用它们的优点,实验结果表明混合编码方案能显著地提高图像编码的效率。除了结构的自适应性,我们还探讨了图像编码中变换的方向自适应性。图像信号充满了各种各样的方向性信息,然而,传统的变换因为缺乏方向性基,对这些方向性信号的表示却很没有效率。基于对重叠变换的提升分解,我们把重叠变换分解成多步基本操作。对每一步基本操作改造成相应的方向性基本操作,我们构造出了方向性重叠变换,包括一维至多维的方向性变换和块自适应的方向性重叠变换。在实际编码的方向性变换过程中,我们将其中的方向指定问题归结成了一个率失真优化的问题,在做了适当简化后,用动态规划的方向指定算法解决了这个问题。在利用了块自适应的方向性重叠变换和相应的方向指定算法后,我们显著地提高了HD Photo(JPEG-XR)编码系统的图像编码性能,也验证了方向性重叠变换在图像变换中的有效性。另外一个影响方向性变换效率的是子采样的模式。我们提出了子采样模式对基于方向性小波变换的图像编码性能影响的问题。通过深入分析这个问题,我们得出的结论是针对一个特定的方向性信号,最适合的子采样模式的确定会很复杂,它不仅与方向有关,也与相关性的强度有关。为了充分利用各种子采样模式的优点,我们提出了子采样自适应的方向性小波变换,并设计了一个相位重构的算法来解决子采样模式发生变化时出现的边界问题。实际编码结果表明子采样自适应的方向性小波变换能极大提高方向性小波变换在JPEG 2000编码系统中的编码性能。