恶劣环境下的底层视觉旨在解决因不利天气,遮挡模糊等因素造成的图像退化问题,是支撑真实场景下语义感知的关键技术,广泛应用于无人驾驶,交通安防,工业生产等领域。其中图像融合与视觉增强是解决恶劣环境下环境感知的主流手段。然而现有方案面临两方面挑战:（1）提升图像融合计算效率:基于深度学习的融合方案依赖工程化经验,不可避免地引起结构冗余等问题导致计算效率低,缺乏对模态特征针对性处理以致融合性能不佳;（2）提升视觉增强的通用性:大多数网络结构根据特定任务设计,难以迁移到其他相关任务,因此大多数方案难以处理复杂环境下多种降质因素耦合的图像。为解决上述挑战,本文的主要工作如下:（1）为解决图像融合方案存在的计算效率低与特征冗余,本文引入硬件约束的网络搜索手段构建高效求解,快速推理的神经网络结构。具体来说,本文通过各类模态本质特性构建超网络,以保证特征高效融合。进而挖掘高低频分解,多尺度融合,注意力机制等建立面向融合的搜索空间,以确保网络高效求解。通过将硬件时延约束引入网络搜索过程,构建紧凑轻量的网络结构,最终实现优越融合性能与高效硬件推理的统一。在图像融合任务的实验表明,基于搜索的网络推理时间减少39%,性能提升10%以上。（2）针对解决视觉增强方案存在的通用性差的难题,本文通过构造结合知识优化与数据驱动的优化启发学习,建立展开式计算方案,实现了对多类视觉增强任务的灵活处理。具体来说,通过级联数据驱动的生成、分类学习的判别与模型信息的矫正三个模块提升了处理多类视觉增强任务的通用性。此外,本文引入神经网络搜索等结构增广手段,从优化角度设计网络架构提升性能。在非盲去卷积,图像去模糊,修补,去雨等多个任务的定性定量结果验证了提出方案的灵活性。