图像和视频作为视觉信息的载体,成为计算机视觉研究的核心。图像是视频的来源。很多计算机视觉任务,如目标识别、检测和跟踪等,都是建立在图像处理、分割和识别等基础上。在这些任务中,有效的图像特征提取是决定算法性能的关键。在各种特征提取算法中,度量学习作为一种特征学习方法,主要是通过学习一个特征的低维的嵌入空间,使得在这个空间中相同类别的图像距离近而不同类别的图像距离更远,是一种主流的方法。基于度量学习的图像分类方法已在现实生活中具有广泛的应用,例如人脸识别、图像检索和纹理识别等。依靠大数据的优势,基于梯度下降算法进行迭代优化的深度卷积神经网络（CNN）已经获得了广泛的研究和应用,但也有一些研究集中在使用非迭代优化方法来学习CNN,如PCANet。这类算法简单而高效,尤其是在数据量较少的一些分类任务中,具有较好的性能。另一方面,由于高分辨率的视频帧中包含着更多的细节信息,所以其对于帮助人们获取信息和感知世界都有重要的作用。视频超分辨率主要是通过算法来解决如何实现视频从低分辨率到高分辨率的映射过程,其具有广泛的应用场景,例如视频监控、高清电视和卫星图像等。在视频超分辨率方面,由于摄像机或物体的运动等因素的影响,为了超分辨重建对应的低分辨率帧（参考帧）,在算法设计过程中通常会将多个相邻帧（支持帧）与参考帧对齐。很多方法采用可变形卷积进行隐式的帧间对齐,从而获得较高的性能,如EDVR。本文主要基于深度学习算法,对图像特征表示和视频超分辨率这两大任务进行了研究,主要贡献具体如下:（1）基于边界Fisher分析的图像特征表示网络本文扩展了 PCANet的研究方向,提出了一种基于深度边界Fisher分析（MFA）的CNN,称为DMNet。该算法利用局部MFA对卷积层参数进行优化,解决了 PCANet在样本不服从高斯分布时的局限性。它使用图嵌入框架,通过最大化边缘点的类间可分辨性以及最小化类内距离来优化卷积核参数。通过级联的方式,MFA卷积层可用于构建深度网络。此外,为了使网络生成更加稳健的特征向量,本文将随机性引入哈希方法中,提出了一种二进制随机哈希（BSH）方法作为非线性层,该方法根据卷积得到的特征图的重要性来进行特征的选择。实验结果表明,该方法在非迭代优化CNN方法中取得了最先进的结果。消融实验也验证了我们提出的BSH方法的有效性。（2）基于频率分解对齐的视频超分辨率网络现有的基于变形卷积的对齐方法只是简单地对齐帧的所有特征,而没有考虑高频和低频分量对齐的难度差异。本文将一种可导的频率分解方法引入超分辨率的网络架构,提出了一种基于频率分解的帧间对齐模块,称为FDA。基于频率的对齐方法可以让视频帧中重要的高频信息在对齐的过程中减少其它信息的干扰,从而加强帧间的对齐效果。同时,在网络的训练中增加了一种新的损失函数,其目的是使得重建后的帧仍然可以通过下采样的方式获得原先低分辨率的帧,从而保持重建帧与原参考帧信息上的一致性。为了验证FDA的有效性,本文将其应用于EDVR网络架构中,并与一些表现良好的算法进行比较。实验结果表明,FDA模块可以有效地提高模型的性能。消融实验也进一步展示了支持帧高频信息的有效对齐对于重建高分辨率参考帧的重要性。