【摘 要】
：
神经网络作为机器学习中最有前景的方向,在计算机视觉,自然语言处理乃至药物设计等领域有着广泛而深入的应用.它有着经典机器学习算法无可比拟的学习能力,但相应的,它需要强大的计算能力和存储能力.这也就是为什么神经网络的经典模型M-P模型于1943年就被McCulloch,Pitts提出,但在进入21世纪特别是近十年才受到人们重视的原因之一.因为当时并没有大量的数据,也没有足够强大的处理器和内存.可以说,
论文部分内容阅读
神经网络作为机器学习中最有前景的方向,在计算机视觉,自然语言处理乃至药物设计等领域有着广泛而深入的应用.它有着经典机器学习算法无可比拟的学习能力,但相应的,它需要强大的计算能力和存储能力.这也就是为什么神经网络的经典模型M-P模型于1943年就被McCulloch,Pitts提出,但在进入21世纪特别是近十年才受到人们重视的原因之一.因为当时并没有大量的数据,也没有足够强大的处理器和内存.可以说,神经网络是由数据和硬件驱动的学习算法.当前,绝大多数神经网络的训练依赖于大量预处理过的数据以及具有强大并行算力的NVIDIA GPU,这阻碍了神经网络应用于小型计算机系统比如分布式系统.故对神经网络的可学习参数进行压缩是一个很有前景的领域.本文主要利用已有的张量分解方法对神经网络的可学习参数进行压缩.本文首先介绍了张量理论的核心内容,主要有张量的概念,运算以及分解,并给出了 Kronecker 积,强 Kronecker 积,TT-SVD,QTT-SVD 等的 Pytorch 实现,以便充分利用NVIDIA的GPU加速运算,为其在模型压缩中的应用做了铺垫.进一步的,提出CNN模型压缩的方法,该方法主要分为2部分,第1部分为线性层的压缩方法,这是本文的核心内容,因为在通常的神经网络中,线性层的可学习参数相比卷积层会多很多,这部分内容主要用到的方法是QTT和QCP压缩;第2部分为卷积层的压缩方法,相对线性层,卷积层的压缩方法更少,因为它的可学习参数的数量少,但对模型的精度影响很大,这部分主要用到的方法是CP分解.接着在CIFAR10,STL10等经典数据集上对模型压缩的效果进行验证.最后,给出了模型压缩技术在计算辅助药物设计模型中的应用.数值实验结果表明,通过张量压缩技术得到的CNN模型不仅较好的模型压缩效果,并且能有效降低模型的损失,提高模型的精度.并且给出了 QCP格式的优点:在秩较大时相对于QTT格式仍有比较好的压缩效果.这是本文提出该格式的根本原因.
其他文献
当前经济社会的快速发展和能源需求的急剧增长,伴随而来的是化石能源的日渐枯竭和生态环境的日益恶化等重要挑战。锂离子电池（LIBs）因兼具能量密度高、循环寿命长、工作温度范围宽和清洁低碳等突出优势,成为非化石能源路线的重要储能装置,并已占据消费电子、电动汽车、轨道交通、智能电网等领域电池产业60%以上的市场份额。然而,商业化LIBs通常以金属化合物、石墨等无机物为电极活性材料,其材料来自有限矿源,提取
随着城市化进程的加快,我国大城市日渐出现了交通拥挤、环境污染和土地资源短缺等问题,大力发展城市轨道交通被广泛认为是解决这些矛盾和问题的有效途径。然而,我国城市轨道交通的发展普遍面临着建设资金短缺、营运收支难以平衡等难题,与此同时,城市轨道交通的发展给站点周边房地产带来的增值效益被房地产所有者和使用者所独享,并没有反哺城市轨道交通建设。因此,定量研究城市轨道交通对沿线房地产价值的影响,探索城市轨道交
随着智能移动设备的广泛普及,近场离线通信需求的日益增加,现有的近场通讯技术不能满足离线状态下小数据、低功耗、低成本、弱硬件依赖性的短距离便捷传输场景,如NFC硬件成本高、蓝牙连接复杂等,所以亟需一种近场通讯技术解决该类场景传输问题,此时声波近场通信便以其便捷性、弱硬件依赖性、无网络依赖性和低功耗低价格的特性脱颖而出。但由于声波通信传输速率慢、更易受环境干扰造成失真,所以本文主要研究目标是实现高数据
随着焦炭资源的日益枯竭以及环保要求的愈加严格,高炉炼铁工艺因其具有高污染、高能耗、高物耗等问题而面临前所未有的挑战。流态化还原炼铁工艺可以直接利用铁矿粉,省去了高炉炼铁工艺中污染最为严重的烧结与炼焦工序,摆脱了对焦炭资源的依赖,将成为非高炉绿色冶金技术发展的重要方向。气-固两相流态化是复杂的非线性、非平衡、多尺度问题,具有典型非均匀结构运行特征,研究气固两相流态化过程的非均匀结构及其演化特性对于流
阿兹海默症是第一大神经退行性疾病。本文重点研究了如何使用具有大量样本的公开数据集通过迁移学习的方法,解决少量特定区域的阿兹海默症样本不充分和模型优秀的分类性能之间的矛盾问题。因此,本文的研究内容如下:首先,总结分析了实例迁移学习中的相关理论与技术,在现有理论与技术的基础之上,结合本文所使用数据的特殊性——公开数据集（源域）特征少,本地数据集（目标域）特征多的特点,查阅了关于特征生长相关技术的资料,
本文主要研究了模q·pw（p=2,3,5）的置换多项式及其上的拉丁方,得到了以下结果：（1）刻划了整系数多项式形成模5w的置换多项式,刻划条件仅与多项式的系数有关。（2）证明了二元整系数多项式p（x,y）=∑i,jaijxiyj形成一个模5w的拉丁方,当且仅当十个一元多项式p（x,i）,p（i,y）,（i=0,1,2,3,4.）都是模5w的置换多项式。（3）指出了并非所有模3w的置换多项式形成的拉
超级电容器由于其高功率密度和良好的循环稳定性而备受关注。超级电容器在电容机制上分为双电层电容（EDLC）和赝电容。双电层电容器通过电极-电解质表面的可逆静电吸附存储电荷。碳基材料因为具有高导电性和非凡的电化学稳定性,而成为双电层电容器电极材料的理想候选材料,其中碳纳米管和石墨烯是碳材料的研究热点。然而,石墨烯片层之间容易发生堆叠,碳纳米管之间容易发生聚集,这会降低其比表面积并且造成不可逆的容量损失
自升式钻井平台作为一种海上可移动式钻井设备,可用于海上石油和天然气的勘探和开采,其中,作为自升式钻井平台的重要组成部分的桩腿,底部附有一个巨大的倒圆锥型的基础,即为“桩靴”,作用是减少桩腿在粘土内的贯入距离,承担海底对平台的支撑力,便于在海床中定位或增大基础与地基之间的滑动摩擦力,桩靴基础有效直径通常10-20 m,埋入海床土体的深度为2-3倍的桩靴直径,以获得足够的承载能力来保证作业过程中的安全
代数表示论是上世纪七十年代初兴起的代数学的一个新的分支,它的基本内容是研究环与代数的结构。在三十多年的时间里这一理论有了异常迅猛的发展并逐渐趋于完善。它主要研究一个给定的Artin代数是有限型的还是无限型的,若是无限型的,给出模的分布情况,若是有限型的,确定其全体不可分解模,通过研究不可分解模之间的关系并结合AR箭图,对代数进行分类。AR箭图是代数系统的表示模范畴的基本几何形状,以几乎可列序列为基