随着数字成像技术的发展,人们越来越多的使用数字图像作为载体进行信息交互。与文字相比,图像可以储存更多的信息;同时人类主要依赖视觉系统感知外部环境,图像中储存的信息能够快速的被提取和利用。得益于这两方面的原因,图像的广泛使用极大的提高了人们利用信息的效率。但是图像数据量大,其存储和传输耗费较高,因此图像的高效编码压缩就成为了信息利用过程的基础和前提。本文的研究主要集中在图像编码领域。图像编码是一个复杂的系统,通常包含多个模块,其中变换模块具有重要作用。小波变换在图像编码领域得到了广泛的应用,例如著名的JPEG2000就是一种小波图像编码方法。然而,现阶段的小波图像编码方法与最先进的图像编码方法之间还存在较大的性能差距。造成这种差距的原因是多方面的:（1）在模型设计方面,传统小波变换基于信号处理理论手工设计得到,没有充分考虑自然图像的特性,在处理自然图像时不够高效,影响了其应用于图像编码时的性能;（2）在模型优化方面,传统小波图像编码方法使用分模块的优化思路,容易陷入局部最优,限制了整体性能;（3）在优化目标方面,传统小波图像编码方法大多面向信号失真优化,较少考虑视觉失真。可以看到,以上三个问题分别存在于模型设计、模型优化、优化目标三个递进层面,因此,需要由表及里、层层递进的加以解决。在上述思路的指导下,本文开展了以下三方面的工作:（1）提出了一种可学习的类小波变换模型。为了获得更适合处理自然图像的小波变换,本文以提升结构为基础,引入了卷积神经网络替换提升结构中的线性滤波器,构造了可学习的类小波变换。同时提出了一种类似自编码器的结构对类小波变换模型进行优化,使其针对自然图像具有更好的能量集中性,提高了变换适配图像的能力。为了将优化得到的类小波变换应用于JPEG2000内,本文设计了一种归一化方法来缩放类小波变换产生的变换系数。实验证明所提出的类小波变换相比传统小波变换在能量集中性和压缩性能方面具有明显的优势。（2）提出了一种基于类小波变换的图像编码端到端优化方法。在类小波变换的基础上,构造了基于神经网络的熵编码和去量化模块,形成了可直接面向率失真损失优化的端到端小波图像编码方法。然后面向有损编码场景、无损编码场景、和通用型编码场景分别设计了不同的端到端优化策略。实验结果表明端到端优化后的图像编码效率显著优于JPEG2000等方法,相比现有的端到端优化图像编码方法也具有更好的通用性。（3）提出了一种基于类小波变换的图像编码视觉质量优化目标。建立了基于类小波变换的概率解码框架,并论证了其在信号质量和感知自然度优化中的优越性,进一步提出了新型损失函数作为端到端优化的目标。为了优化所提目标,设计了基于KL散度的和基于Wasserstein距离的两种优化方法。对于后者,还设计了整流式Wasserstein型生成对抗网络来提高优化效果。实验结果表明运用所提优化目标得到的图像编码方案实现了可控的概率解码,并在维持信号质量的条件下提高了重建图像的感知自然度。基于以上在模型设计、模型优化、优化目标三个层面的工作,本文实现了全新的基于类小波变换的图像编码方法,不仅比传统的小波图像编码方法具有明显的性能优势,而且与其它各种类型的图像编码方法相比也具有很强的竞争力。本文的工作不但揭示出了小波变换应用于图像编码的巨大潜力,而且对于端到端图像编码以及面向视觉质量优化的图像编码也具有一定的意义。