计算机视觉分析在当前的人工智能领域中具有非常重要的研究价值。它主要包括图像和视频领域的相关研究任务,例如分类、检测、分割和动作识别等。这些视觉任务的研究在现实世界中有着非常重要的应用价值,例如人脸识别,自动驾驶,视觉问答,行为分析等。在当前的机器学习模型研究中,模型性能一直都是研究人员衡量模型好坏的主要指标之一。尽管机器学习算法已经在各种视觉分析任务中取得了非常好的性能,但在相应的模型设计中仍然存在如下挑战:（1）机器学习模型的鲁棒性差,即模型对数据集中包含的噪声过于敏感,抗噪能力弱,往往较小的数据噪声也会导致模型失效;（2）深度学习模型的通用性不足,即在视觉任务中,模型对多任务的自适应能力差,针对上游任务（例如图像的识别与分类）设计的模型往往在下游任务（例如目标检测、语义分割和实例分割等）上的表现不佳;（3）深度学习模型的自动化设计程度低,即当前模型的自动化设计计算量大、应用局限明显,导致其难以满足激增的应用场景需求（如视频领域）。针对上述问题,本论文的主要研究内容和贡献如下:（1）针对图像数据集中特征维度和视图维度的噪声导致模型鲁棒性较差的问题,本论文以谱聚类算法为例对传统机器学习模型的鲁棒性进行了研究。具体的研究内容如下:1)针对图像数据在特征维度上广泛存在的噪声和信息冗余导致模型鲁棒性差的问题,本论文提出了一个基于本征子空间学习的单视图谱聚类算法以提升模型的鲁棒性。它首先通过一个行稀疏变换矩阵将高维数据映射到一个低维子空间当中,然后再构建一个具有本征子空间的亲和图。行稀疏变换矩阵的使用使得本论文的方法可以在特征维度有效的抑制噪声和异常值对模型性能的影响。本论文在包含噪声的合成数据集上验证提出方法的高鲁棒性,提出的方法比相关的聚类方法的性能高47%。并且在六个公开的数据集上同其它方法相比,本论文的方法的聚类精度平均提升近5%。2)针对多视图数据集中视图质量不一致导致一致性图学习易受视图中噪声干扰的问题,本论文提出了一个基于视图质量的自动加权多视图谱聚类算法,以提升模型的鲁棒性。它通过使用1范数度量每个视图与一致性图之间的距离从而自适应地为不同的视图分配相应的权重,以抑制视图维度的噪声。在鲁棒性评估实验中,与同期发表的其它方法相比,提出的方法在评估指标NMI上的性能增益高达498.55%。（2）针对在视觉上下游任务中模型的通用性挑战,本论文提出了一个基于动态多尺度窗口的Vi T模型。该模型通过设计一个具有动态多尺度的窗口自注意力模块来解决上下游任务对信息尺度要求不一致的问题,从而提升模型对上下游任务的兼容性和通用性。本论文在一个上游任务图像分类数据集以及两个下游任务数据集上验证了提出方法的通用性。相关的实验结果表明该方法可以很好的适应上下游的视觉任务。和Swin T相比,该方法在上游任务（即图像分类）上提升0.7%,在下游任务（即图像分割、目标检测和实例分割）上平均提升1.1%。（3）针对视频任务中深度学习模型手动设计难度大、效率低的问题,本论文提出了一个面向复杂动作识别的时间卷积神经架构搜索方法。该方法将3D卷积在时间空间维度上进行了显式的分离,通过为视频任务定制一个在时间维度上的搜索空间进行计算量的压缩,从而成功地将神经架构搜索方法引入到了计算密集型的长视频的任务当中。本论文在三个公开的长视频动作识别数据集上验证了提出方法的有效性。实验结果表明该方法可以在视频领域实现了有效的模型自动化设计,和Timeception相比在三个公开数据集上,该方法平均提升近2.2%。