【摘 要】
：
图像信号处理器（ISP）是相机中不可缺少的模组,它负责将来自相机传感器的原始数据转换为具有美感的图像。其中,ISP中的去马赛克算法旨在从单通道原始数据,即彩色滤光片阵列（CFA）,中恢复出三通道全分辨率RGB图像。另外,在现实场景中,特别是在夜间环境中,CFA通常会被复杂的噪声所污染。因此,在去马赛克之前,通常需要对CFA进行去噪处理。去噪和去马赛克这两个模块在摄像机ISP中起着至关重要的作用,因
论文部分内容阅读
图像信号处理器（ISP）是相机中不可缺少的模组,它负责将来自相机传感器的原始数据转换为具有美感的图像。其中,ISP中的去马赛克算法旨在从单通道原始数据,即彩色滤光片阵列（CFA）,中恢复出三通道全分辨率RGB图像。另外,在现实场景中,特别是在夜间环境中,CFA通常会被复杂的噪声所污染。因此,在去马赛克之前,通常需要对CFA进行去噪处理。去噪和去马赛克这两个模块在摄像机ISP中起着至关重要的作用,因为它们位于ISP的早期阶段,其性能对ISP的最终输出有很大影响。在传统的ISP流程中,去噪和去马赛克通常是独立且按顺序执行的,但这很容易带来一些视觉伪像问题,如伪彩色、拉链效应和摩尔纹等。为了避免顺序处理带来的影响,先前的工作提出联合去噪和去马赛克。然而,传统算法受到手工设计特征的极大限制,深度学习方法则受到所用网络结构的限制,无法充分利用图像的空间信息。最重要的是,他们都忽略了所处理数据的特殊属性。为了解决上述问题,本文对基于深度学习的联合去噪去马赛克算法分别从模型和数据方面进行了研究,主要工作和贡献如下:（1）一个大的感受野有利于网络捕获更多的空间细节,从而产生更好的图像恢复结果。本文引入了一种新型的协同设计以有效地实现这一目标。具体来说,本文设计了一个大卷积核（7×7）网络（LKNet）。这种大卷积核设计中的核心在于纳入子感受野的上下文信息,即多尺度信息。为此,本文提出了一个辅助学习策略,即对于每个7×7的卷积核,有三个平行的小卷积核来协助训练。此外,基于卷积的可加性,这些辅助内核可以在测试前融合到大卷积核中,使大卷积核依然有效而不增加计算成本。在这两个设计的支持下,LKNet在合成和真实的数据集上定量和定性地达到了较好的性能。为了进一步验证LKNet的性能,本文将其应用于困难的RGB图像降噪任务上,该任务的噪声是空间上非均匀分布的。实验结果显示提出的LKNet可以凭借更少的计算量取得当前方法中最优的结果。（2）联合去噪去马赛克任务位于图像处理流程的早期阶段,因此训练数据的监督具有“容忍”特性,即监督的微小变化对ISP的最终输出有可忽略的影响。基于这一观察,本文提出将原始监督松弛为多元高斯分布。具体来说,原始监督被用作均值,并引入一个额外的超参数作为方差。此外,由于现有的损失函数,如平均平方误差（MSE）,不能直接用于分布学习,因此我们提出了一个基于贝叶斯变分推断的新损失函数。本文证明了MSE本质上是这个损失函数的最大下限,进一步从理论上解释了本文所提方法的有效性。实验结果表明,所提的学习范式有效地提高了现有模型的性能。
其他文献
零样本学习是计算机视觉和迁移学习领域的一个重要的研究课题。零样本学习的任务是依据一些已知类别的图像数据,然后辅以相关的先验信息,进而学习出一个泛化能力强大的模型来实现对未知类别的图像样本的分类。尽管研究者们提出了许多方法来解决零样本学习问题,但是它仍然是一个具有挑战性的课题。近些年来,基于图卷积网络模型的零样本学习方法在零样本学习领域取得了优异的性能。这些方法的主流思路是利用图卷积网络模型来对不同
多视图的表示学习旨在利用来自不同角度或不同数据源的特征学习数据的表示。对于图结构数据,多图学习的目的是通过多个图结构数据的协同学习,挖掘多个视图间的互补信息。近年来,图神经网络（Graph Neural Networks,GNNs）在图结构数据的表示学习方面取得了巨大的成功。现有的图神经网络模型通常可以分为图卷积网络、图注意力网络、图自编码器和图生成网络等。然而,许多传统的图神经网络模型利用固定的
车辆路径问题广泛存在于生活中的诸多方面,如街道垃圾清理、物流配送、集装箱码头堆场作业等。作为求解车辆路径问题的常见方法,元启发式算法可以在合理的时间内获得一个较好的路径方案。然而,随着问题规模的增加,已有元启发式方法往往会出现效果变差、耗时变得不可接受等问题,因此如何提高元启发式算法处理大规模车辆路径问题的能力是一个具有挑战的问题。此外,由于不同的元启发式搜索策略在不同问题实例上往往具有不同的性能
稀疏多目标优化问题（Sparse Multi-Objective Optimization Problems）由于其在机器学习、网络科学及其他许多领域都具有广泛的应用,近年来愈加受到进化计算领域的关注和研究。但现有多目标进化算法在稀疏多目标优化问题上的性能仍然有待进一步研究,目前尚没有专门针对稀疏多目标优化问题设计的性能评价指标。现有的性能评价指标仅关注算法在目标空间的收敛性和多样性而忽视了决策空
深度神经网络广泛应用于许多领域,但仍然面临对抗攻击带来的风险。对抗攻击是对输入样本添加不易察觉的扰动来产生对抗样本,并欺骗神经网络将样本识别为错误的类别。为了提高深度神经网络对于对抗攻击的鲁棒性,国内外的研究者们分别从攻击和防御的角度出发进行了各种研究。在对抗攻击方面,包括密集对抗攻击和稀疏对抗攻击;在对抗防御方面,包括对抗训练和其他数据增强方法等。现有的攻击算法大多为密集对抗攻击或扰动明显的稀疏
随着传感器的普及率不断提升,摄像机被布置在城市的每一个角落。摄像机网络常被用于区域监控,灾难响应,环境监控等等。在多个相机复杂场景下,可检测的视野范围更广阔,但是如何更好地利用多个相机的数据,是一个重要的问题。同时,仅通过人工检索的方式已经不能满足人们的需求。因此,需要一个能在多个相机环境下进行有效目标跟踪的算法来代替人工检索。多个相机间的目标跟踪,即利用多个摄像机协同完成对目标的跟踪过程,是目标
图像分类、目标检测和语义分割是计算机视觉领域的三个基本任务。目标检测要求同时确定图片中目标的类别和位置。遥感图片中的目标具有任意的旋转方向,且目标尺寸差异较大,因此检测难度更大。本文主要研究基于单阶段检测框架与卷积区域重配准的遥感图像中的旋转物体检测算法,主要贡献如下:（1）基于卷积区域重配准的遥感单阶段目标检测研究本文提出一种由粗糙到精细的单阶段目标检测器,主要包括一个增强的特征金字塔网络、多尺
数字媒体技术的日益普及,使数字信息的传输和共享更加便捷。但信息传输中存在如信息泄露、信息遭篡改等信任问题,严重威胁信息安全。因此,作为一门能够在密文信号中嵌入识别信息、无误差地提取信息并无损恢复原始信号的关键技术,密文图像可逆信息隐藏（Reversible Data Hiding in Encrypted Images,RDHEI）技术逐渐成为信息安全与多媒体处理领域的交叉研究热点。本文探究现存R
蛋白质和RNA分子的相互作用在许多细胞过程中起着重要作用,例如基因表达,转录和翻译。它们之间的相互作用需要先确定哪些蛋白质可以与RNA结合,即确定RNA结合蛋白;其次,该RNA结合蛋白的特定残基将与RNA的特定核苷酸相结合以执行其细胞功能,如果结合错误或失败,那么可能会导致生物细胞功能紊乱,进而引起各种生物遗传疾病。对于RNA-蛋白质相互作用的研究,高通量技术的全基因组预测方法虽然准确性非常高,但
专利数据是人们在生产和科研活动中发明创造的技术信息的集合,可以反映各技术领域中的最新技术动向和发展趋势,是促进自主创新和提高国家竞争能力的战略性信息资源。专利数据不仅包含技术描述文本,还包含发明人、申请人、专利引用及层次标签等信息,丰富的数据种类体现专利数据的异质特性。大多专利分析方法面临大数据学习问题,需要利用表示学习方法,实现对信息的压缩和融合。对专利数据进行表示学习,旨在研究专利文本及其多种