【摘 要】
：
文本分类任务从离散文本数据提取出的文本特征会因领域和背景不同而存在巨大差异,因此文本分类网络模型更复杂。复杂的结构给人工挑选最优的文本分类网络模型增加了难度和成本。神经结构搜索（Neural Architecture Search,NAS）将网络模型设计过程自动化,能降低文本分类模型设计的人力成本。目前用于文本分类任务的NAS算法存在两个问题:一、建模为马尔科夫决策过程（Markov Decisi
论文部分内容阅读
文本分类任务从离散文本数据提取出的文本特征会因领域和背景不同而存在巨大差异,因此文本分类网络模型更复杂。复杂的结构给人工挑选最优的文本分类网络模型增加了难度和成本。神经结构搜索（Neural Architecture Search,NAS）将网络模型设计过程自动化,能降低文本分类模型设计的人力成本。目前用于文本分类任务的NAS算法存在两个问题:一、建模为马尔科夫决策过程（Markov Decision Process,MDP）的NAS是一个完全奖励延迟任务,优化过程难以收敛、搜索效率低。二、NAS搜索空间的确定依赖于人工经验,未经筛选的搜索空间设置会降低NAS算法所设计的网络模型的准确率和NAS搜索效率。针对第一个问题,我们使用图卷积网络和重参数方法生成网络结构,取代NAS算法的MDP建模步骤,令图卷积网络权重对验证集损失的导数可计算,实现快速优化。在文本分类实验中,与目前基于MDP建模的先进NAS算法相比,我们提出的算法准确率提高约1%到6%,搜索最优模型耗时减少了39%。针对第二个问题,我们将搜索空间的选取建模为子集选取问题,并使用演化算法求解该问题,以选出小规模子空间取代完整的搜索空间,减少所需计算资源。在文本分类实验中,改进的算法在预测准确率无显著差异的前提下,较原NAS方法搜索时显存占用减少25%,搜索时间减少35%。为了将以上算法应用到文本分类任务中,我们设计了一个NAS框架和针对文本分类任务的NAS系统,提供文本分类任务的搜索空间自动选择与NAS服务。我们选取了3个开源文本分类模型用于NAS系统的测试。我们的NAS系统在无需人工参与设计的前提下,实现了文本分类模型的自动设计。对于相同输入,NAS系统设计的文本分类模型和人工设计模型的输出准确率差异小于5%,说明NAS自动设计的模型实现了和人工设计的模型相同的文本分类性能。我们的NAS系统将网络模型设计自动化,使不具备深度学习知识的工作者也能完成文本分类网络模型设计工作,降低该工作的难度和人力成本。
其他文献
冷凝冷却设备按照冷却介质的不同主要分为空冷式、水冷式和蒸发式。其中,蒸发式冷凝冷却设备相比于空冷式具有较高的传热系数,而相比于水冷式又可大大降低循环冷却水用量,同时它还具有结构紧凑、初投资小、能耗小等诸多优点。随着国民经济的高速发展,资源的紧缺使节水节能的要求日益突出,蒸发式冷凝冷却设备越来越广泛地被应用在石油、化工、冷藏、食品、建筑等各种领域中。蒸发式冷凝（冷却）设备主要依靠液膜与空气间的传热传
随着电力电子技术的发展和应用,电力系统正呈现明显的电力电子化发展趋势,其谐波污染和中高频振荡问题日益显现,严重威胁系统安全稳定运行。准确检测中高频振荡的参数对于有效抑制中高频振荡至关重要,在线宽频量测有助于监测电网宽频信号的动态情况,能够为中高频振荡的分析提供有效的数据支撑。此外,电力电子化电力系统中包含了大量含有高次谐波和间谐波的宽频信号,如何从含有大量信息的宽频信号中辨识出中高频振荡是一个难点
新能源电动汽车减速器是汽车动力系统重要的组成部分,减速器齿轮传动系统的动态特性对整车综合性能有着重要的影响。该系统有复杂的支承系统,包括壳体支承刚度和非线性轴承刚度,输入转速范围大,在不同的工况下,轴承刚度不断变化,进而对齿轮传动系统的动态特性产生影响。同时,齿轮时变啮合刚度是齿轮传动系统最重要的内部激励之一。因此,有必要对减速器齿轮传动系统的动态特性进行深入分析,探究壳体支承刚度、轴承刚度和齿轮
近年来,基于深度学习的目标检测算法快速发展,诞生了许多优秀的目标检测模型,这些模型可以被分为两大类,一类是一阶段目标检测模型,另一类是二阶段目标检测模型。这两类模型都有一个相同的特点,就是利用水平候选区域来对输入图像中的目标对象进行检测,但这个特点对于充满了密集排列、体积小且朝向任意的目标对象的应用领域不太友好,尤其是产品缺陷检测领域,水平边界框不仅不能准确地表示目标对象的位置,且会使得目标检测模
随着现代社会的不断发展,飞机已经成为越来越多人的出行选择。面对持续增长的民航旅客运输量,航空公司需要增设更多的航班线路来满足民众的需求。由于我国目前的飞行人员较为紧缺,如何能够充分发挥机组成员的最大效益成为解决关键。不合理的排班计划可能会导致飞行人员疲劳驾驶,不仅影响成员的工作状态,而且还会降低飞行质量,为民众出行埋下安全隐患。因此,优化航班与机组成员之间的资源分配对于民航业的高质量发展具有重要意
裂褶多糖是一种中性β葡聚糖,具有抗肿瘤、免疫调节、抗炎及保湿等多种生物活性。然而,分子量大、粘度高、干燥后复溶性差的特性限制了裂褶多糖在工业上的大规模应用。本研究对裂褶多糖进行硫酸酯化改性,通过红外、紫外、核磁（Nuclear magnetic resonance,NMR）等表征其结构,并进一步评价其α-葡萄糖苷酶抑制活性、抗凝血活性、保湿活性,为硫酸酯化裂褶多糖（sulfated schizop
弧菌病是虾养殖过程中面临的主要威胁。目前,还不清楚弧菌是如何穿透富含几丁质的虾壳和胃肠道,进而侵入虾宿主的过程。几丁质酶是一类能水解几丁质β-1,4糖苷键的糖苷水解酶,长期被认为是弧菌的重要毒力因子,但缺少直接的证据。本课题从虾生活环境出发,筛选获得一批具有降解几丁质能力的微生物,其中包括弧菌属细菌,实验评估了几丁质降解菌的降解能力。课题针对得到的虾类主要病原细菌（三株不同种的弧菌）:溶藻弧菌、哈
多目标旅行商问题是典型的组合多目标优化问题,现实生活中物流配送等问题都可以转化为多目标旅行商问题求解。相比于经典旅行商问题以距离为单一目标,多目标旅行商问题还加入了时间、风险等其他目标。目前,一种常用的方法是基于种群的多目标进化算法。但是,多目标进化算法的个体针对具体问题编码。当问题的城市数量或城市坐标发生任何变化时,都需重新运行算法求解,从而消耗大量的迭代时间。另一种常用的方法是深度强化学习算法
作为第三代混凝土减水剂,聚羧酸减水剂具有减水率高、保坍性好和结构可设计性强等优点,近年来国内的年产量高达千万吨,但低水平同质化竞争日趋激烈。目前生产的聚羧酸大多都是梳形结构,有着分散性好、保坍性强等优势,但存在被跨国企业的发明专利“卡脖子”和分散性能难以进一步提升等问题。本文设计并合成了羧基封端型聚氧乙烯醚大单体,深入探究其合成工艺及优化参数,并研究了基于羧基封端大单体的传统梳形聚羧酸合成工艺、结
红曲色素是一种天然、绿色的可食用色素,也是目前唯一一种利用微生物发酵制备的天然色素,具有抗氧化、抗肿瘤、抗菌、抗炎和降血糖等特性,应用前景广阔。红色素是其中应用最广泛的一种。随着红曲红色素研究的深入,如何提高红曲霉液态发酵产胞外水溶性红色素的产量及应用质量是目前研究的难题。稀土元素作为诱导剂,在提高植物和微生物次级代谢产物的产量方面得到了广泛的应用,但是很少有关于稀土元素对红曲霉次级代谢产物影响的